我想知道我的Python应用程序的内存使用情况，特别是想知道哪些代码块/部分或对象消耗了大量内存。
谷歌搜索显示商业工具：Python Memory Validator （仅限Windows），还有开源工具：PySizer 和 Heapy。
我还没有尝试过这些工具，所以想知道哪一个最好，考虑以下几点：
我还没有尝试过这些工具，所以想知道哪一个最好，考虑以下几点：
提供了最详细的信息。
使我对代码更改的要求最小或没有。
哪个Python内存分析器是推荐的？
761
- Anurag Uniyal
6
3我建议使用objgraph来查找泄漏的源头。 - pi.
14@MikeiLL 这样的问题有一个专门的地方：[SoftwareRecs.SE]。 - Poik
6这种情况发生得足够频繁，我们应该能够将一个问题迁移到另一个论坛上。 - zabumba
一个提示：如果有人使用gae并想要检查内存使用情况，那会是一个大头痛，因为这些工具没有输出任何东西或者甚至没有启动。如果你想测试一些小的东西，将你想要测试的函数移动到单独的文件中，并运行这个文件。 - alexche8
7我推荐使用pympler。 - zzzeek
2请查看memray。 - Levon
8个回答
497
我的模块memory_profiler能够打印内存使用情况的逐行报告，并可在Unix和Windows上运行（最后一个需要psutil）。输出不是非常详细，但目标是为您提供代码消耗更多内存的概述，而不是对已分配对象进行全面分析。
将您的函数用@profile修饰并使用-m memory_profiler标志运行您的代码后，它将打印出如下的逐行报告：
Line # Mem usage Increment Line Contents
==============================================
3 @profile
4 5.97 MB 0.00 MB def my_func():
5 13.61 MB 7.64 MB a = [1] * (10 ** 6)
6 166.20 MB 152.59 MB b = [2] * (2 * 10 ** 7)
7 13.61 MB -152.59 MB del b
8 13.61 MB 0.00 MB return a
- Fabian Pedregosa
18
28我认为memory_profiler非常简单易用。我想按行而不是按对象进行分析。感谢你的编写。 - tommy.carstensen
2@FabianPedregosa memory_profiler 如何处理循环，能否识别循环迭代次数？ - Glen Fletcher
3当尝试报告逐行数量并发现重复行时，它仅隐式地识别循环。在这种情况下，它将只取所有迭代的最大值。 - Fabian Pedregosa
2我尝试过
memory_profiler，但认为它不是一个好选择。它会使程序执行变得非常缓慢（在我的情况下大约慢了30倍）。 - AnnetteC2该工具不再得到维护。 - SCGH
显示剩余13条评论
312
guppy3非常容易使用。 在您的代码的某个点上，您需要编写以下内容：
from guppy import hpy
h = hpy()
print(h.heap())
这将为您提供以下输出：
Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index Count % Size % Cumulative % Kind (class / dict of class)
0 35144 27 2140412 26 2140412 26 str
1 38397 29 1309020 16 3449432 42 tuple
2 530 0 739856 9 4189288 50 dict (no owner)
你也可以查找对象的引用来源并获取有关统计信息，但是有关此方面的文档有点稀少。
还有一个使用Tk编写的图形浏览器。
对于Python 2.x，请使用Heapy。
- Torsten Marek
14
25如果您使用Python 2.7，可能需要获取它的主干版本：http://sourceforge.net/tracker/?func=detail&aid=3047282&group_id=105577&atid=641821 ，使用命令
pip install https://guppy-pe.svn.sourceforge.net/svnroot/guppy-pe/trunk/guppy 安装。 - James Snyder28这份 heapy 文档不是很好。但我发现这篇博客文章对入门非常有帮助：http://www.smira.ru/wp-content/uploads/2011/08/heapy.html - Joe Shaw
5注意，heapy 不包括在 Python 扩展中分配的内存。如果有人已经想出一种机制使 heapy 可以包括
boost::python 对象，那么能够看到一些例子就很不错！ - amos40截至2014年7月6日，guppy不支持Python 3。 - Quentin Pradet
15有一个名为guppy3的分支支持Python 3，它是guppy的升级版。 - David Foster
显示剩余9条评论
84
我推荐使用 Dowser。它非常易于设置，而且您的代码不需要做任何更改。您可以通过简单的Web界面查看每个类型对象的计数、查看活动对象列表、查看对活动对象的引用。
# memdebug.py
import cherrypy
import dowser
def start(port):
cherrypy.tree.mount(dowser.Root())
cherrypy.config.update({
'environment': 'embedded',
'server.socket_port': port
})
cherrypy.server.quickstart()
cherrypy.engine.start(blocking=False)
我没有尝试过PySizer或者Heapy。我很感激其他人的评价。
更新： 上述代码适用于CherryPy 2.X，对于CherryPy 3.X，server.quickstart方法已经被删除，engine.start不再使用blocking标志。因此，如果你正在使用CherryPy 3.X，请注意这点。
# memdebug.py
import cherrypy
import dowser
def start(port):
cherrypy.tree.mount(dowser.Root())
cherrypy.config.update({
'environment': 'embedded',
'server.socket_port': port
})
cherrypy.engine.start()
- sanxiyn
10
4这是否仅适用于 CherryPy，如何将其与简单脚本一起使用？ - Anurag Uniyal
14这不适用于CherryPy。 把CherryPy想象成一个GUI工具包。 - sanxiyn
8有一个名为Dozer的Dowser通用WSGI端口，您也可以将其与其他Web服务器一起使用：pypi.python.org/pypi/Dozer - Joe Shaw
3CherryPy 3.1取消了CherryPy.server.quickstart()，因此只需使用CherryPy.engine.start()即可。 - MatsLindh
4在Python 3中，这个不起作用。我会遇到一个明显的StringIO错误。 - dtc
显示剩余5条评论
19
Muppy是Python的又一个内存使用分析器，重点在于发现内存泄漏问题。
Muppy旨在帮助开发人员识别Python应用程序中的内存泄漏问题。它能够跟踪运行时的内存使用情况，并识别出哪些对象正在泄漏。此外，还提供了工具来定位未释放对象的源头。
- Serrano
16
我正在为Python开发一个名为memprof的内存分析器：
http://jmdana.github.io/memprof/
它允许您在装饰的方法执行期间记录和绘制变量的内存使用情况。您只需使用以下导入库即可：
from memprof import memprof
使用以下方式美化你的方法：
@memprof
这是一个关于如何查看绘图的示例：
该项目托管在GitHub上：
- jmdana
2
3我该如何使用它？A、B、C是什么？ - tommy.carstensen
1@tommy.carstensen，
a，b和c是变量的名称。您可以在http://github.com/jmdana/memprof找到文档。如果您有任何问题，请随时在GitHub上提交问题或发送电子邮件到文档中找到的邮件列表。 - jmdana7
还可以尝试使用pytracemalloc项目，该项目提供了每个Python代码行的内存使用情况。
编辑（2014/04）：现在它有一个Qt GUI用于分析快照。
- vstinner
1
9
tracemalloc现在成为Python标准库的一部分。请参阅https://docs.python.org/3/library/tracemalloc.html。 - Dan Milon网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接