我试图在AWS EMR上的Jupyter笔记本中使用pandas udf,但始终无法成功。 首先,我尝试使用自己写的函数,但无法使其正常工作,因此我尝试了一些在这里找到的其他问题的答案示例,但仍无法使其正常工作。 我尝试了以下代码:
from pyspark.sql.functions import pandas_udf, PandasUDFType
from pyspark.sql.types import *
import pyspark.sql.functions as F
import pyarrow
df = spark.createDataFrame([
(1, "A", "X1"),
(2, "B", "X2"),
(3, "B", "X3"),
(1, "B", "X3"),
(2, "C", "X2"),
(3, "C", "X2"),
(1, "C", "X1"),
(1, "B", "X1"),
], ["id", "type", "code"])
schema = StructType([
StructField("code", StringType()),
])
@F.pandas_udf(schema, F.PandasUDFType.GROUPED_MAP)
def dummy_udaf(pdf):
pdf = pdf[['code']]
return pdf
df.groupBy('type').apply(dummy_udaf).show()
我遇到了这个错误:
Caused by: java.lang.SecurityException: class "io.netty.buffer.ArrowBuf"'s signer information does not match signer information of other classes in the same package
我尝试过不导入pyarrow库,但是我仍然得到了相同的错误。我还使用了一些来自有关此主题的答案的其他代码,结果也是相同的。
在引导 shell 脚本中,我有一行 pip install 代码如下:
sudo python3 -m pip install pandas==0.24.2 pyarrow==0.14.1
我已经尝试了pyarrow 0.15.1,但是没有任何改变。
你有任何想法是什么导致了这个错误吗?谢谢!