1个回答
19
如此大的列表将占用大量空间，因为列表中的每个元素至少占用4个字节，因此一个允许最大元素数量的列表将占用至少2GB的RAM1。这还没有考虑64位系统2。
4 * 5.4e+8 = 2.1e+9，2.1 GB8 * 1.2e+18 = 9.2e+18，9.2 EB（是的，艾字节）
然而，为了回答这个问题，假设你有很多RAM。
最简单的选项之一是创建自己的对象来保存和处理大型列表。它基本上会将大型列表分成小列表，然后在需要时相应地访问它们。由于没有继承列表类list的实际好处[1]，因为您必须重写所有方法，因此您最好只继承object，然后从那里开始。这里唯一重要的事情是永远不要组合或复制子列表（因为它们是巨大的），因此在必要时使用itertools.chain来循环遍历列表。
以下是最简单的列表方法append、extend、get/setitem的工作示例：
import sys
from itertools import chain
class largeList(object):
def __init__(self, mylist=None):
self.maxSize = sys.maxsize/4
self.src = [[]]
self.extend(mylist if mylist is not None else [])
def __iter__(self):
return chain(*self.src)
def __getitem__(self, idx):
return self.src[int(idx/self.maxSize)][idx%self.maxSize]
def __setitem__(self, idx, item):
self.src[int(idx/self.maxSize)][idx%self.maxSize] = item
# expand set/getitem to support negative indexing.
def append(self, item):
if len(self.src[-1]) < self.maxSize:
self.src[-1].append(item)
else:
self.src.append([item])
def extend(self, items):
remainder = self.maxSize - len(self.src[-1])
self.src[-1].extend(items[:remainder])
for i in xrange(0, len(items[remainder:]), self.maxSize):
self.src.append(items[remainder:][i:i+self.maxSize])
def __len__(self):
return sum(len(l) for l in self.src)
def __str__(self):
size = self.__len__()
if size >= 8:
first, last = [], []
for i, ele in enumerate(self.__iter__()):
if i < 3:
first.append(ele)
if i >= size - 3:
last.append(ele)
return str(first)[:-1] + ', ..., ' + str(last)[1:]
return str(list(self.__iter__()))
示例用法（如果您的可用RAM小于4GB或者您使用的是64位系统，请在尝试此操作之前更改sys.maxsize！）：
#sys.maxsize = 1000
list1 = largeList(xrange(sys.maxsize/4 + 2))
print len(list1)
# 53687093
print list1
#[0, 1, 2, ..., 536870910, 536870911, 536870912]
print list1.src
#[[0, 1, 2 ..., 536870910], [536870911, 536870912]]
list1.extend([42, 43])
print list1
#[0, 1, 2, ..., 536870912, 42, 43]
结果：内部，列表被分成多个列表，但当使用它们时，它们似乎只是一个列表。可以通过添加更多方法轻松地添加
list功能，例如pop、remove、insert和index。(...)
def pop(self, idx):
listidx = int(idx/self.maxSize)
itempopped = self.src[listidx].pop(idx%self.maxSize)
for i in xrange(listidx, len(self.src)-1):
self.src[i].append(self.src[i+1].pop(0))
if not self.src[-1]:
del self.src[-1]
return itempopped
def remove(self, item):
for i, ele in enumerate(self.__iter__()):
if ele == item:
self.pop(i)
break
def insert(self, idx, item):
listidx = int(idx/self.maxSize)
itemtoshift = self.src[listidx].pop(-1)
self.src[listidx].insert(idx%self.maxSize, item)
for i in xrange(listidx+1, len(self.src)-1):
itemremoved = self.src[i].pop(-1)
self.src[i].insert(0, itemtoshift)
itemtoshift = itemremoved
if len(self.src[-1]) < self.maxSize:
self.src[-1].insert(0, itemtoshift)
else:
self.src.append([self.src[-1].pop(-1)])
self.src[-2].insert(0, itemtoshift)
def index(self, item):
for i, ele in enumerate(self.__iter__()):
if ele == item:
return i
return -1
示例用法，继续：
#sys.maxsize = 1000
list1 = largeList(xrange(sys.maxsize/4 + 2))
list1.insert(0, 'a')
print list1
#['a', 0, 1, ..., 536870910, 536870911, 536870912]
list1.pop(2)
#1
list1.remove(536870910)
print list1.index('a')
#0
print len(list1)
#536870911
print list1
#['a', 0, 2, ..., 536870909, 536870911, 536870912]
print list.src
#[['a', 0, 2, ..., 536870909, 536870911], [536870912]]
- dwitvliet
2
我会将参数
mylist的默认值替换为None，并在__init__的主体中添加if mylist is None: self.mylist = []以避免引起任何错误。 - LMCuber1@LMCuber，随意进行编辑。 :) - dwitvliet
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
itertools.chain将一堆块连接在一起。 - Pavel Anossov4 * 536,870,912 = 2147483648。这就是说，仅仅为了存储这个列表就需要2GB的内存。如果这些元素不相同，我很确定在达到这个尺寸之前你就会遇到 MemoryError 了。 - Bakuriu