为什么numpy的fromiter函数需要指定dtype,而其他数组创建函数则不需要?

8
为了提高内存效率,我一直在将我的代码从列表转换为生成器/迭代器。我发现很多情况下,我只是将自己制作的列表转换为一个np.array,并采用np.array(some_list)的代码模式。
值得注意的是,some_list通常是一个正在迭代生成器的列表解析。
我正在研究np.fromiter,看看是否可以更直接地使用生成器(而不必先将其强制转换为列表,然后将其转换为numpy数组),但我注意到与使用现有数据的任何其他数组创建例程不同,np.fromiter函数需要指定dtype
在我大多数特定情况下,我可以让它工作(主要处理对数似然,因此float64就可以),但这让我想知道为什么只有在fromiter数组创建器中才需要这样做,而其他数组创建器则不需要。
第一次猜测:
内存预分配?
我的理解是,如果您知道dtypecount,它允许预分配内存到结果np.array中,并且如果您没有指定可选的count参数,则会“按需调整输出数组大小”。但是,如果您没有指定计数,那么似乎应该能够在同样的方式中推断出dtype,就像在正常的np.array调用中一样。
数据类型转换?
我可以看到这对于将数据重新转换为新的dtype很有用,但是其他数组创建例程也适用,而且似乎应该作为可选但不是必需的参数。
因此,为什么需要指定dtype来使用np.fromiter;或者换句话说,如果数组将按需调整大小,那么指定dtype会产生哪些收益?更直接与我的问题相关的一个更微妙的版本:我知道当您不断地调整它们的大小时,np.ndarray的许多效率增益都会丢失,因此,相对于np.fromiter([gen_elem for gen_elem in generator],dtype=d)np.array([gen_elem for gen_elem in generator],dtype=d),使用np.fromiter(generator,dtype=d)有什么收益?

1
这个链接引用了原因:http://sourceforge.net/p/numpy/mailman/message/13497603/ - ctrl-alt-delete
@toasteez 这太棒了!但实际上,它似乎并没有解释为什么需要 dtype,除了 Tim Hochberg 想要一个具有指定 dtype 的 1D 数组。关于添加形状参数,他们提到他们不想让代码更加复杂,而且 array 有很多复杂情况,但这并不能回答为什么 dtype 对于 fromiter 而言仍然是必需的,但对于 任何其他 数组创建例程则不是。此外,该帖子已经有近十年历史了,numpy 自那以后已经发生了很多变化 - 因此可能考虑为了API一致性而进行更改。 - mpacer
最好在numpy的GitHub上提出问题/疑问。 - ctrl-alt-delete
警告:将数据转换为numpy数组几乎不会对物理内存产生太大的帮助,因为numpy数组需要连续的内存块,这些内存块很难获得。 - Joran Beasley
1个回答

6
如果这段代码是十年前编写的,并且没有压力要求修改它,那么旧的原因仍然适用。大多数人使用np.array感到满意。np.fromiter主要是被那些试图从迭代生成值的方法中挤出一些速度的人使用。
我的印象是,主要替代方案np.array会在决定dtype(和其他属性)之前读取/处理整个输入:
我可以通过改变一个元素来强制返回float:
In [395]: np.array([0,1,2,3,4,5])
Out[395]: array([0, 1, 2, 3, 4, 5])
In [396]: np.array([0,1,2,3,4,5,6.])
Out[396]: array([ 0.,  1.,  2.,  3.,  4.,  5.,  6.])

我不经常使用fromiter,但我的感觉是通过要求指定dtype,可以从一开始就开始将输入转换为该类型。这可能会产生更快的迭代效果,但需要进行时间测试。
我知道np.array的泛化需要一定的时间成本。通常对于小型列表来说,使用列表推导式比将其转换为数组更快,即使数组操作很快。
以下是一些时间测试:
In [404]: timeit np.fromiter([0,1,2,3,4,5,6.],dtype=int)
100000 loops, best of 3: 3.35 µs per loop
In [405]: timeit np.fromiter([0,1,2,3,4,5,6.],dtype=float)
100000 loops, best of 3: 3.88 µs per loop
In [406]: timeit np.array([0,1,2,3,4,5,6.])
100000 loops, best of 3: 4.51 µs per loop
In [407]: timeit np.array([0,1,2,3,4,5,6])
100000 loops, best of 3: 3.93 µs per loop

差异很小,但表明我的推理是正确的。要求使用dtype有助于保持fromiter的速度。在这个小尺寸下,count没有任何区别。
奇怪的是,为np.array指定dtype会减慢它的速度。就好像它附加了一个astype调用:
In [416]: timeit np.array([0,1,2,3,4,5,6],dtype=float)
100000 loops, best of 3: 6.52 µs per loop
In [417]: timeit np.array([0,1,2,3,4,5,6]).astype(float)
100000 loops, best of 3: 6.21 µs per loop
< p >使用range(1000)(Python3生成器版本)时,np.arraynp.fromiter之间的差异更加明显。< /p >
In [430]: timeit np.array(range(1000))
1000 loops, best of 3: 704 µs per loop

实际上,将范围转换为列表更快:

In [431]: timeit np.array(list(range(1000)))
1000 loops, best of 3: 196 µs per loop

但是 fromiter 仍然更快:

In [432]: timeit np.fromiter(range(1000),dtype=int)
10000 loops, best of 3: 87.6 µs per loop

在生成/迭代过程中,将int转换为float应用于整个数组比逐个元素转换更快。

In [434]: timeit np.fromiter(range(1000),dtype=int).astype(float)
10000 loops, best of 3: 106 µs per loop
In [435]: timeit np.fromiter(range(1000),dtype=float)
1000 loops, best of 3: 189 µs per loop

请注意,astype调整大小操作并不昂贵,仅需大约20微秒。
============================ array_fromiter(PyObject *NPY_UNUSED(ignored), PyObject *args, PyObject *keywds)的定义在: https://github.com/numpy/numpy/blob/eeba2cbfa4c56447e36aad6d97e323ecfbdade56/numpy/core/src/multiarray/multiarraymodule.c 它处理keywds并调用 https://github.com/numpy/numpy/blob/97c35365beda55c6dead8c50df785eb857f843f0/numpy/core/src/multiarray/ctors.c中的 PyArray_FromIter(PyObject *obj, PyArray_Descr *dtype, npy_intp count)
这将使用定义的dtype创建初始数组ret
ret = (PyArrayObject *)PyArray_NewFromDescr(&PyArray_Type, dtype, 1,
                                            &elcount, NULL,NULL, 0, NULL);

这个数组的data属性会进行50%的过量分配,即0, 4, 8, 14, 23, 36, 56, 86 ...,并在最后缩小以适应。显然,这个数组的数据类型PyArray_DESCR(ret)有一个函数,可以获取迭代器next提供的value,将其转换并设置到data中。
`(PyArray_DESCR(ret)->f->setitem(value, item, ret)`

换句话说,所有的数据类型转换都由定义的数据类型完成。如果程序在运行时决定如何转换值(以及之前分配的所有值),那么代码会变得更加复杂。这个函数中的大部分代码都处理分配数据缓冲区的问题。
我先不查阅 np.array,我相信它要复杂得多。

稍后我会检查一些指定数量的测试(由于长度是在运行时通过每次碰到数组末尾时分配数组长度的50%来确定的)。唯一的问题是旧的dtype必须指定的原因从未被给出......您的测试给了一个线索,但是考虑到您可以在dtype表示上计算部分有序集合(我认为?),您将能够有效地推断它(从uint8 / int8向上工作到object,在重新分配时间使用 astype的C基础)。但这将使np.fromiter变得非常复杂... - mpacer
我找到了 fromiter 代码,它非常简单。dtype 转换由预定义的 dtype 对象处理。fromiter 只是迭代,并保持足够大的 data 缓冲区。 - hpaulj

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接