我有一个包含某列值中逗号的csv文件。例如,
Column1,Column2,Column3
123,"45,6",789
当数据中有额外的逗号时,值会用双引号括起来。在上面的例子中,值为Column1=123,Column2=45,6和Column3=789。但是,在尝试读取数据时,由于Column2字段中有额外的逗号,它会给我4个值。
如何在PySpark中读取此数据时获取正确的值?我正在使用Spark 1.6.3
我目前正在执行以下操作来创建一个rdd,然后从rdd创建一个数据帧。
rdd = sc.textFile(input_file).map(lambda line: line.split(','))
df = sqlContext.createDataFrame(rdd)