如何将C语言指针数组转换为Python数组

Question

我有一个 C++ 回调函数，使用 ctypes 调用 Python。这个函数的参数是指向 double 数组和元素数量的指针。

这里有很多元素，大约有 2,000,000 个。我需要将其传递给 scipy 函数。

C++ 原型如下：

bool (*ptsetDataSource)(double*, long long);

以下是Python代码:

CPF_setDataSource = CFUNCTYPE(c_bool, POINTER(c_double),c_longlong)
CPF_setSelection= CFUNCTYPE(c_bool,c_char_p, c_longlong,c_longlong)
CPF_ResetSequence = CFUNCTYPE(c_bool)

def setDataSource(Data, DataLength):
    Datalist=[0.0]*100
    for i in range(0,100):
        Datalist[i]=Data[i]

    print Datalist
    return True

问题在于print datalist返回的结果是：

[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]

当在C++端检查时，数据被填充了许多其他数字，这是不正确的。

另外，如果我使用此代码将数据转换为Python列表，则在分配步骤中会锁定计算机。

有没有办法从C++数组中加载数据，然后将其转换为适用于Scipy的数组？

- ochensati

---

一个标准的Python列表永远不会很快。如果您在代码的C++方面具有灵活性，我个人会使用numpy“array”对象的C API。示例代码（使用swig而不是ctypes）：https://github.com/martinxyz/python/blob/master/realistic/hello.hpp - maxy

你能展示一下数据如何分配，如何从Python中调用各种C函数，以及如何调用setDataSource吗？ - Daniel Stutzbach

Answer 1

如果 Data 是一个 (c_double*DataLength.value) 数组，那么你可以：

a = np.frombuffer(Data) # no copy. Changes in `a` are reflected in `Data`

如果 Data 是一个 POINTER(c_double)，你可以使用numpy.fromiter()获取numpy数组。这与您提出的问题中的循环相同，但速度更快：

a = np.fromiter(Data, dtype=np.float, count=DataLength.value) # copy

如果不想复制，可以使用.from_address()方法从POINTER(c_double)实例创建numpy数组：

ArrayType = ctypes.c_double*DataLength.value
addr = ctypes.addressof(Data.contents)
a = np.frombuffer(ArrayType.from_address(addr))

或者

array_pointer = ctypes.cast(Data, ctypes.POINTER(ArrayType))
a = np.frombuffer(array_pointer.contents)

两种方法都将POINTER(c_double)实例转换为(c_double * DataLength)，然后将其传递给numpy.frombuffer()。

基于Cython的解决方案

是否有一种方式可以从C ++数组加载数据，然后将其转换为适合于scipy的数组？

这是一个用Python（使用Cython编写）编写的C扩展模块，提供了作为C API的转换函数：

cimport numpy as np
np.import_array() # initialize C API to call PyArray_SimpleNewFromData

cdef public api tonumpyarray(double* data, long long size) with gil:
    if not (data and size >= 0): raise ValueError
    cdef np.npy_intp dims = size
    #NOTE: it doesn't take ownership of `data`. You must free `data` yourself
    return np.PyArray_SimpleNewFromData(1, &dims, np.NPY_DOUBLE, <void*>data)

以下是使用 ctypes 的示例：

from ctypes import (PYFUNCTYPE, py_object, POINTER, c_double, c_longlong,
                    pydll, CFUNCTYPE, c_bool, cdll)

import pointer2ndarray
tonumpyarray = PYFUNCTYPE(py_object, POINTER(c_double), c_longlong)(
    ("tonumpyarray", pydll.LoadLibrary(pointer2ndarray.__file__)))

@CFUNCTYPE(c_bool, POINTER(c_double), c_longlong)
def callback(data, size):
    a = tonumpyarray(data, size)
    # call scipy functions on the `a` array here
    return True

cpplib = cdll.LoadLibrary("call_callback.so") # your C++ lib goes here
cpplib.call_callback(callback)

其中call_callback是：void call_callback(bool (*)(double *, long long))。

- jfs