我将csv文件加载到pyspark中,代码如下(在pyspark shell中执行):
但我遇到了这个错误:
>>> from pyspark.sql import SQLContext
>>> sqlContext = SQLContext(sc)
>>> df = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load('data.csv')
但我遇到了这个错误:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'SQLContext' object has no attribute 'read'
>>>
我正在使用Spark 1.3.1,并尝试使用spark-csv。
Spark 1.4+:
的语法。 - xiº