你好,我目前正在尝试将四个Pandas数据帧中的数据写入到我本地的MySQL数据库中。我的机器需要32秒才能插入20,000条记录(每个表格5000条)。代码如下:
表格: 1)文章 2)文章统计 3)文章语言 4)文章标签
engine = create_engine("mysql+mysqldb://root:dbase@123@localhost/testDb")
startTime=time.time()
dfstat.to_sql('post_stats', con=engine, if_exists='append', index=False)
for i in range(0, dfp.shape[0]):
ss = str(dfp.iloc[i][0])
sss = 'Select id from post_stats where post_id =\"%s\"' % (ss)
#print(sss)
rss = engine.execute(sss)
x = rss.fetchone()
dfp['stats_id'][i] = x[0]
dfp.to_sql('posts', con=engine, if_exists='append', index=False)
dfl.to_sql('post_languages', con=engine, if_exists='append', index=False)
dftagv.to_sql('post_tags', con=engine, if_exists='append', index=False)
endTime=time.time()
diff=endTime-startTime
print(diff)
目前我将数据存储在本地计算机上,但将来需要将数据发送到MySQL服务器,有没有加快插入速度的方法,或者是否有任何不同的方法可以以更快的速度存储数据,例如使用批量插入,请给出建议。
CompileError:当前数据库版本设置下的'kintone'方言不支持原地多行插入。
- Aaron Bell