这是一种几乎*向量化的基于布尔索引的方法,我在多篇其他文章中使用了它-
def boolean_indexing(v):
lens = np.array([len(item) for item in v])
mask = lens[:,None] > np.arange(lens.max())
out = np.zeros(mask.shape,dtype=int)
out[mask] = np.concatenate(v)
return out
样例运行
In [27]: v
Out[27]: [[1], [1, 2], [3, 6, 7, 8, 9], [4]]
In [28]: out
Out[28]:
array([[1, 0, 0, 0, 0],
[1, 2, 0, 0, 0],
[3, 6, 7, 8, 9],
[4, 0, 0, 0, 0]])
请注意,这里称为几乎向量化,因为唯一执行循环的部分是在开始时,我们正在获取列表元素的长度。但是,由于该部分不需要太多计算,对总运行时间应该没有太大影响。
运行时间测试
在本节中,我正在计时
@Alberto Garcia-Raboso
的基于DataFrame的解决方案,
@ayhan
的基于itertools的解决方案,因为它们似乎具有良好的可扩展性,并且基于布尔索引的解决方案来自此帖子,用于相对较大的数据集,其中列表元素跨三个级别的大小变化。
情况#1:更大的大小变化
In [44]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8,9,3,6,4,8,3,2,4,5,6,6,8,7,9,3,6,4]]
In [45]: v = v*1000
In [46]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
100 loops, best of 3: 9.82 ms per loop
In [47]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
100 loops, best of 3: 5.11 ms per loop
In [48]: %timeit boolean_indexing(v)
100 loops, best of 3: 6.88 ms per loop
案例 #2:尺寸变化较小
In [49]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8]]
In [50]: v = v*1000
In [51]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
100 loops, best of 3: 3.12 ms per loop
In [52]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
1000 loops, best of 3: 1.55 ms per loop
In [53]: %timeit boolean_indexing(v)
100 loops, best of 3: 5 ms per loop
案例#3:每个列表元素的元素数量更大(最多100个)
In [139]:
...: N = 10000
...: maxn = 100
...: lens = np.random.randint(0,maxn,(N))
...: v = [list(np.random.randint(0,9,(L))) for L in lens]
...:
In [140]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
1 loops, best of 3: 292 ms per loop
In [141]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
1 loops, best of 3: 264 ms per loop
In [142]: %timeit boolean_indexing(v)
10 loops, best of 3: 95.7 ms per loop
对我来说,似乎没有明显的赢家,但需要根据具体情况进行考虑。关于
itertools.izip_longest
,它表现良好!