我正在读取一个文件(同时进行一些昂贵的逻辑),我需要在不同的函数中多次迭代它,因此我真的希望只读取和解析该文件一次。
解析函数解析文件并返回一个
然而,
独立的 MCVE:
解析函数解析文件并返回一个
itertools.groupby
对象。def parse_file():
...
return itertools.groupby(lines, key=keyfunc)
我考虑做以下事情:
csv_file_content = read_csv_file()
file_content_1, file_content_2 = itertools.tee(csv_file_content, 2)
foo(file_content_1)
bar(file_content_2)
然而,
itertools.tee
似乎只能“复制”外部迭代器,而内部(嵌套)迭代器仍然指向原始迭代器(因此在迭代通过 itertools.tee
返回的第一个迭代器后,它将被耗尽)。独立的 MCVE:
from itertools import groupby, tee
li = [{'name': 'a', 'id': 1},
{'name': 'a', 'id': 2},
{'name': 'b', 'id': 3},
{'name': 'b', 'id': 4},
{'name': 'c', 'id': 5},
{'name': 'c', 'id': 6}]
groupby_obj = groupby(li, key=lambda x:x['name'])
tee_obj1, tee_obj2 = tee(groupby_obj, 2)
print(id(tee_obj1))
for group, data in tee_obj1:
print(group)
print(id(data))
for i in data:
print(i)
print('----')
print(id(tee_obj2))
for group, data in tee_obj2:
print(group)
print(id(data))
for i in data:
print(i)
输出
2380054450440
a
2380053623136
{'name': 'a', 'id': 1}
{'name': 'a', 'id': 2}
b
2380030915976
{'name': 'b', 'id': 3}
{'name': 'b', 'id': 4}
c
2380054184344
{'name': 'c', 'id': 5}
{'name': 'c', 'id': 6}
----
2380064387336
a
2380053623136 # same ID as above
b
2380030915976 # same ID as above
c
2380054184344 # same ID as above
如何高效地复制一个嵌套的迭代器?