假设您想要加载以下位于
/home/test/que.csv
的csv文件:
1,TAP (PORTUGAL),AIRLINE
2,ANSA INTERNATIONAL,AUTO RENTAL
3,CARLTON HOTELS,HOTEL-MOTEL
现在,我们需要在HDFS中创建一个保存该数据的位置。
使用以下命令将`/home/test/que.csv`文件放入`/user/mcc`目录下:
hadoop fs -put /home/test/que.csv /user/mcc
下一步是创建表。可以选择两种类型。有关如何选择,请参见
此处。
以下是外部表的示例:
create external table industry_
(
MCC string ,
MCC_Name string,
MCC_Group string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION '/user/mcc/'
tblproperties ("skip.header.line.count"="1");
注意:通过Spark SQL访问时,CSV的标题行将显示为数据行。
测试结果基于Spark版本2.4。