导入pandas时出现大量内存消耗的原因是什么？

Question

导入pandas时出现大量内存消耗的原因是什么？

3

我已经在这个问题上工作了几个小时了，但没有找到其他人有这个问题。最近我从Linux切换到Windows 10，我的Python应用程序遇到了内存问题。

所有的Python应用程序占用了大约450MB的内存提交。随着我们部署多个实例和新的应用程序，这成为一个问题。经过检查，pandas似乎是问题的原因。删除大多数应用程序后，我可以使用以下方法重现问题：

- 使用Python 3.8.8创建venv环境（也尝试过3.8.3和3.8.5） - 安装pandas - 在环境中调用Python - 运行 `import pandas` 内存使用情况的屏幕截图。新创建的进程是291724 有谁知道是什么原因导致了这个问题，以及如何预防？导入pandas肯定不应该保留这么多内存，并且完成导入后也不应该保留这么多内存。

更新 06/06

这里是根据anon01的要求提供的另一张截图。与工作集、可共享和私有内存相比，Python进程的提交很大。

- Derek333

3

看起来大约是429KB。你能按“提交(KB)”排序吗？ - anon01

根据你的要求，我添加了另一个截图！ - Derek333

@Derek333 你能解决这个问题吗？ - LOTR

@LOTR 很抱歉，但有些事情确实有帮助。我已经在下面发布了它们的答案。 - Derek333

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Derek333 · Answer 1

很抱歉我无法解决这个问题，但有些事情确实有所帮助。首先，降级到Python 3.7确实将内存占用减少了超过30％。切换到不同版本的pandas也有助于减少约10％的内存占用。我想尝试一些旧版本或新版本可能是解决问题的最佳方法。

通过重构一些软件，我能够在某些应用程序中删除pandas依赖项。不确定这个答案是否令人满意，但我希望它能为未来来到这里的人提供一些指导。