我一直在尝试使用Databricks库来读取CSV文件。 我正在尝试使用Scala API将由Hive创建的TSV文件读取到Spark数据框中。
这里有一个示例,可以在Spark shell中运行(我将示例数据公开,以便您可以使用它)
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType};
val sqlContext = new SQLContext(sc)
val segments = sqlContext.read.format("com.databricks.spark.csv").load("s3n://michaeldiscenza/data/test_segments")
文档中提到您可以指定分隔符,但我不清楚如何指定该选项。
spark.read.option("sep", "\t").csv("PATH")
。 - Steffen Schmitz