我正在寻找一种高效地使用Python/Pandas将大型数据框(250MB以上)写入和从磁盘读取的最佳方法。我已经尝试了《Python数据分析》中提到的所有方法,但性能非常令人失望。
这是一个更大项目的一部分,旨在探索将我们目前的统计/数据管理环境从Stata迁移到Python。当我比较我的测试中的读写时间与在Stata中获得的时间时,Python和Pandas通常需要超过20倍的时间。
我强烈怀疑问题出在我身上,而不是Python或Pandas。
有什么建议吗?
这是一个更大项目的一部分,旨在探索将我们目前的统计/数据管理环境从Stata迁移到Python。当我比较我的测试中的读写时间与在Stata中获得的时间时,Python和Pandas通常需要超过20倍的时间。
我强烈怀疑问题出在我身上,而不是Python或Pandas。
有什么建议吗?
df.head()
和df.info()
。 - Jeff