Python Pandas - 使用loc创建Fortran顺序的NumPy数组

Question

Python Pandas - 使用loc创建Fortran顺序的NumPy数组

3

例如：

nrow = 10
ncol= 10
a = np.arange(nrow*ncol,dtype=np.int32).reshape(nrow,ncol)
a = pd.DataFrame(a)
ix_list = np.arange(nrow,dtype=np.int32)

print np.isfortran(a.values) #  False
print np.isfortran(a.loc[ix_list,:].values) #  True

为什么使用 .loc 创建的 Pandas 数据帧是 Fortran 排序的 Numpy 数组？我能否强制它创建 C 排序的 Numpy 数组的 Pandas 数据帧？

- Hansol Shin

这个 loc 产生的数组的 shape 是什么？它的 flags 是什么？ - hpaulj

你的意思是从a.loc[ix_list,:]获取ndarray的形状吗？它与a具有相同的形状，而在这种情况下是(10,10)。 - Hansol Shin

2个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- hpaulj · Answer 1

In [423]: adf = pd.DataFrame(a)
In [424]: ix_list = np.arange(nrow,dtype=np.int32)

您的问题是创建了一个 F 排序数组，如 flags 和 strides 所示。这是在对普通的 numpy 数组进行 transpose 时所期望看到的。

    In [426]: adf.loc[ix_list].values.flags
    Out[426]: 
      C_CONTIGUOUS : False
      F_CONTIGUOUS : True
      OWNDATA : False
      WRITEABLE : True
      ALIGNED : True
      UPDATEIFCOPY : False
    In [427]: adf.loc[ix_list].values.strides
    Out[427]: (4, 40)

但是其他loc索引会产生一个 C 顺序的数组:

In [428]: adf.loc[:].values.flags
Out[428]: 
  C_CONTIGUOUS : True
  F_CONTIGUOUS : False
  ....
In [429]: adf.loc[ix_list[::2]].values.flags
Out[429]: 
  C_CONTIGUOUS : True
  F_CONTIGUOUS : False
  ...
In [430]: adf.loc[ix_list[:-2]].values.flags
Out[430]: 
  C_CONTIGUOUS : True
  F_CONTIGUOUS : False
  ...

看起来是 pandas 的 loc 索引器中的一个错误。

我猜想 np.ascontiguousarray 是确保所有情况都是 C 排序的最便宜的方法，因为它执行了一个 np.array(..., copy=False)，这是一个有条件的 copy。已经是 C 的数组不会复制。

在快速测试中，添加 copy 或 np.ascontiguousarray 不会减慢速度。

In [439]: timeit np.ascontiguousarray(adf.loc[ix_list].values).flags
514 µs ± 7.07 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
In [440]: timeit adf.loc[ix_list].values.copy().flags
509 µs ± 5.94 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
In [441]: timeit adf.loc[ix_list].values.flags
513 µs ± 18.9 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
In [442]: timeit adf.loc[:].values.flags
24.9 µs ± 11.1 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
In [443]: timeit np.ascontiguousarray(adf.loc[:].values).flags
30 µs ± 865 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
In [444]: timeit adf.loc[ix_list[:-1]].values.flags
559 µs ± 12.8 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
In [445]: timeit np.ascontiguousarray(adf.loc[ix_list[:-1]].values).flags
559 µs ± 1.41 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

在numpy数组上选择行比使用loc要快得多：

In [446]: timeit adf.loc[:].values[ix_list].flags
32.9 µs ± 1.33 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
In [447]: timeit adf.values[ix_list].flags
20.9 µs ± 1.09 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

- David Leon · Answer 2

我无法回答你的第一个问题，但是在你的数据框上调用 .values 会返回一个numpy ndarray，因此:

要检查数组是否按列主序排列（fortran），如文档所述，最好使用numpy替代方法 .flags.f_contiguous (https://docs.scipy.org/doc/numpy/reference/generated/numpy.isfortran.html)
要强制使用 np.ascontiguousarray()
或 np.asfortranarray() 来使用ndarray

希望能有所帮助！