如何手动计算字典的大小(它在内存中占用的字节数)。我读到最初它是280个字节,在第6个键时增加,然后在第86个键时继续增加。我想计算当我有超过10000个键时它将占用的大小。
如何手动计算字典的大小(它在内存中占用的字节数)。我读到最初它是280个字节,在第6个键时增加,然后在第86个键时继续增加。我想计算当我有超过10000个键时它将占用的大小。
sys.getsizeof
可以帮助解决这个问题:
from sys import getsizeof
dct = {'a': 5, 'b': 7}
print(getsizeof(dct))
特别是对于字典而言,它的大小将取决于您的Python版本(实现最近已更改)。
创建一个大小为N
的字典的快速方法是:
from itertools import zip_longest
dct = dict(zip_longest(range(N), (), fillvalue=None))
# {0: None, 1: None, 2: None, ....}
这应该有助于测试您特定的Python版本的假设。
这个问题可能相关。
sys.getsizeof
不能处理嵌套字典,如下例所示。
>>> import sys
>>> d = { "onj1": {"name":"object 01", "id": "123"},"onj2": {"name":"object 02", "id": "124"}}
>>> d0 = {}
>>> sys.getsizeof(d0)
240
>>> sys.getsizeof(d)
240
因此,找到的解决方案是使用此网站提供的函数:post 或 github
跟随该函数:
import sys
def get_size(obj, seen=None):
"""Recursively finds size of objects"""
size = sys.getsizeof(obj)
if seen is None:
seen = set()
obj_id = id(obj)
if obj_id in seen:
return 0
# Important mark as seen *before* entering recursion to gracefully handle
# self-referential objects
seen.add(obj_id)
if isinstance(obj, dict):
size += sum([get_size(v, seen) for v in obj.values()])
size += sum([get_size(k, seen) for k in obj.keys()])
elif hasattr(obj, '__dict__'):
size += get_size(obj.__dict__, seen)
elif hasattr(obj, '__iter__') and not isinstance(obj, (str, bytes, bytearray)):
size += sum([get_size(i, seen) for i in obj])
return size
您可以使用sys.getsizeof()
进行快速检查(它将返回对象的大小,以字节为单位):
>>> import sys, itertools
>>> sys.getsizeof(dict(zip(range(1), itertools.cycle([1]))))
280
>>> sys.getsizeof(dict(zip(range(5), itertools.cycle([1]))))
280
>>> sys.getsizeof(dict(zip(range(6), itertools.cycle([1]))))
1048
>>> sys.getsizeof(dict(zip(range(85), itertools.cycle([1]))))
3352
>>> sys.getsizeof(dict(zip(range(86), itertools.cycle([1]))))
12568
>>> sys.getsizeof(dict(zip(range(87), itertools.cycle([1]))))
12568
>>> sys.getsizeof(dict(zip(range(10000), itertools.cycle([1]))))
786712
dictobject.c
是权威资源(最新的Python 3.6分支在这里)。此外,请查看dictnotes.txt
。sys.getsizeof
获取大小信息。