我有一个numpy矩阵:
arr = np.array([[2,3], [2,8], [2,3],[4,5]])
我需要从
arr
创建一个PySpark数据框。由于arr
的长度/值将动态更改,因此我无法手动输入值,所以需要将arr
转换为数据框。我尝试了以下代码,但没有成功。
df= sqlContext.createDataFrame(arr,["A", "B"])
然而,我遇到了以下错误。
TypeError: Can not infer schema for type: <type 'numpy.ndarray'>
ValueError: cannot reshape array of size 8 into shape (1000,newaxis)
的错误。 - Bryce Ramgovind