我想使用pyspark进行k折交叉验证以微调参数,我正在使用pyspark.ml。但是出现AttributeError错误。
AttributeError: 'DataFrame' object has no attribute '_jdf'
我曾尝试使用pyspark.mllib,但未能成功执行k-折交叉验证。
AttributeError: 'DataFrame' object has no attribute '_jdf'
我曾尝试使用pyspark.mllib,但未能成功执行k-折交叉验证。
import pandas as pd
from pyspark import SparkConf, SparkContext
from pyspark.ml.classification import DecisionTreeClassifier
data=pd.read_csv("file:///SparkCourse/wdbc.csv", header=None)
type(data)
print(data)
conf = SparkConf().setMaster("local").setAppName("SparkDecisionTree")
sc = SparkContext(conf = conf)
# Create initial Decision Tree Model
dt = DecisionTreeClassifier(labelCol="label", featuresCol="features",
maxDepth=3)
# Train model with Training Data
dtModel = dt.fit(data)
# I expect the model to be trained but I'm getting the following error
AttributeError: 'DataFrame' object has no attribute '_jdf'
注意: 我能够打印数据。错误在dtModel中。
df.limit(5).toPandas()
。 - Jakob