使用SQLAlchemy反映Postgres数据库中的每个模式

Question

我有一个现有的数据库，其中包含两个模式，分别命名为schools和students，这些模式包含在一个declarative_base实例中，并通过两个不同的类继承自该实例。

class DirectorioEstablecimiento(Base):
    __table_args__ = {'schema': 'schools'}
    __tablename__ = 'addresses'
    # some Columns are defined here

并且

class Matricula(Base):
    __table_args__ = {'schema': 'students'}
    __tablename__ = 'enrollments'
    # some Columns are defined here

我可以使用Base实例作为Base.metadata.create_all(bind=engine)在我的postgres测试数据库中重新创建它。如果我查询pg_namespace，我可以确认这一点已经完成了。

In [111]: engine.execute("SELECT * FROM pg_namespace").fetchall()
2017-12-13 18:04:01,006 INFO sqlalchemy.engine.base.Engine SELECT * FROM pg_namespace
2017-12-13 18:04:01,006 INFO sqlalchemy.engine.base.Engine {}

Out[111]: 
[('pg_toast', 10, None),
 ('pg_temp_1', 10, None),
 ('pg_toast_temp_1', 10, None),
 ('pg_catalog', 10, '{postgres=UC/postgres,=U/postgres}'),
 ('public', 10, '{postgres=UC/postgres,=UC/postgres}'),
 ('information_schema', 10, '{postgres=UC/postgres,=U/postgres}'),
 ('schools', 16386, None),
 ('students', 16386, None)]

并且从psql命令行界面执行

user# select * from pg_tables;

     schemaname     |          tablename           | tableowner | tablespace | hasindexes | hasrules | hastriggers | rowsecurity 
--------------------+------------------------------+------------+------------+------------+----------+-------------+-------------
 schools            | addresses                    | diego      |            | t          | f        | f           | f
 students           | enrollments                  | diego      |            | t          | f        | f           | f
 pg_catalog         | pg_statistic                 | postgres   |            | t          | f        | f           | f
 pg_catalog         | pg_type                      | postgres   |            | t          | f        | f           | f
 pg_catalog         | pg_authid                    | postgres   | pg_global  | t          | f        | f           | f
 pg_catalog         | pg_user_mapping              | postgres   |            | t          | f        | f           | f
-- other tables were omitted

然而，如果我想在declarative_base的其他实例中反映该数据库，就无法反映出来。

类似如下：

In [87]: Base.metadata.tables.keys()
Out[87]: dict_keys(['schools.addresses', 'students.enrollments'])

In [88]: new_base = declarative_base()

In [89]: new_base.metadata.reflect(bind=engine)

In [90]: new_base.metadata.tables.keys()
Out[90]: dict_keys([])

我知道reflect可以接受一个schema作为参数，但我希望在反射过程中一次性获取所有schema。不知何故，我只能逐个获取它们。

有没有办法做到这一点？

- bluesmonk

Answer 1

当您调用 metadata.reflect() 时，它只会反映默认模式（即您的 search_path 中第一个具有权限的模式）。因此，如果您的 search_path 是 public,students,school，则它将仅反映模式 public 中的表。如果您没有对 public 模式的权限，则 public 模式将被跳过，并且默认仅反映 students。

可以通过 SELECT current_schema(); 获取默认模式。

为了反映其他模式，需要针对每个模式调用 metadata.reflect()。

metadata.reflect(schema='public')  # will reflect even if you do not have permissions on the tables in schema `public`, as long as you have access to pg_* system tables
metadata.reflect(schema='students')
metadata.reflect(schema='schools')

注意：当您使用显式模式进行反射时，

在metadata.tables中反射的表将具有完全限定的模式名称作为表键，例如schema1.mytable，schema2.mytable。

任何冲突的表名都将被后一个替换。如果您有任何同名的表，则应实现函数classname_for_table以使用模式名称作为前缀来更改名称。

使用模式名称作为前缀的示例表格

def classname_for_table(base, tablename, table):
    schema_name = table.schema
    fqname = '{}.{}'.format(schema_name, tablename)
    return fqname


Base.prepare(classname_for_table=classname_for_table)

作为附加内容，这里有一个小片段，它将按模式公开动态子模块中的所有表格，以便您可以访问它

创建一个文件，例如db.py并放置以下内容

from types import ModuleType


def register_classes(base, module_dict):
    for name, table in base.classes.items():
        schema_name, table_name = name.split('.')
        class_name = table_name.title().replace('_', '')
        if schema_name not in module_dict:
            module = module_dict[schema_name] = ModuleType(schema_name)
        else:
            module = module_dict[schema_name]
        setattr(module, class_name, table)

使用自动映射基础和您想要注册模式的模块的__dict__调用此函数。

 register_classes(base, globals())

或者

import db
db.register_classes(base, db.__dict__)

然后你就会得到

import db
db.students.MyTable
db.schools.MyTable

- user2059857