我正在阅读关于sqlalchemy批量插入性能的这篇文章。我尝试了基准测试中指定的各种方法 -
这是我连接数据库的方法。
SQLAlchemy ORM bulk_insert_mappings()
,SQLAlchemy Core
。遗憾的是,对于插入1000行数据,所有这些方法都需要约1分钟的时间来完成。速度非常慢。我还尝试了这里指定的方法 - 这要求我构建一个大型的SQL语句,例如:INSERT INTO mytable (col1, col2, col3)
VALUES (1,2,3), (4,5,6) ..... --- up to 1000 of these
对于这个原始SQL的插入操作大概是这样的:
MySession.execute('''
insert into MyTable (e, l, a)
values {}
'''.format(",".join(my_insert_str)))
采用这种方法,我将性能提高了50倍以上,插入10000条数据只需10-11秒。
以下是使用内置库的代码。
class MyClass(Base):
__tablename__ = "MyTable"
e = Column(String(256), primary_key=True)
l = Column(String(6))
a = Column(String(20), primary_key=True)
def __repr__(self):
return self.e + " " + self.a+ " " + self.l
.......
dict_list = []
for i, row in chunk.iterrows():
dict_list += [{"e" : row["e"], "l" : l, "a" : a}]
MySession.execute(
Myclass.__table__.insert(),
dict_list
)
这是我连接数据库的方法。
params = urllib.quote_plus("DRIVER={SQL Server Native Client 10.0};SERVER=servername;DATABASE=dbname;UID=user;PWD=pass")
engine = create_engine("mssql+pyodbc:///?odbc_connect=%s" % params )
MySession.configure(bind=engine, autoflush=False, expire_on_commit=False)
我的设置有问题吗,导致性能下降如此严重?我尝试了不同的数据库驱动程序——pyodbc和pymssql。无论我尝试什么,都无法接近文章中所声称的数字:
SQLAlchemy ORM: Total time for 100000 records 2.192882061 secs
SQLAlchemy ORM pk given: Total time for 100000 records 1.41679310799 secs
SQLAlchemy ORM bulk_save_objects(): Total time for 100000 records 0.494568824768 secs
SQLAlchemy ORM bulk_insert_mappings(): Total time for 100000 records 0.325763940811 secs
SQLAlchemy Core: Total time for 100000 records 0.239127874374 secs
sqlite3: Total time for 100000 records 0.124729156494 sec
我正在连接到 MS SQL Server 2008。如果我漏掉了其他细节,请告诉我。
使用原始 SQL 方法存在 SQL 注入的安全问题。因此,如果您有解决此问题的建议,那么也会非常有帮助:)。