从HDFS导入数据到Hive表

Question

我的数据存储在HDFS的data/2011/01/13/0100/file中，这些文件都是以制表符分隔的数据，包括名称、IP和URL。

我想在Hive中创建一张表，并从HDFS导入数据，该表应包含时间、名称、IP和URL。

我该如何使用Hive导入这些数据？还是说数据应该采用其他格式，以便我可以导入时间？

- AlgoMan

---

请查看此问题：https://dev59.com/lWHVa4cB1Zd3GeqPl1QM - Raul Guiu

Answer 1

你需要创建一个表格来加载文件，然后使用 LOAD DATA 命令将文件加载到 Hive 表中。请参见Hive文档以获取精确的语法使用方法。

此致， Jeff

- Jeff Hammerbacher

Answer 2

要做到这一点，您必须使用分区，请在此处阅读更多信息：

• http://wiki.apache.org/hadoop/Hive/LanguageManual/DDL#Add_Partitions
• Hive中的分区列

- wlk

Answer 3

你可以为这样的数据创建一个外部表。

类似于：

CREATE EXTERNAL TABLE log_data (name STRING, ip STRING, url STRING) PARTITIONED BY (year BIGINT, month BIGINT, day BIGINT, hour BIGINT) row format delimited fields terminated by '\t' stored as TEXTFILE location 'data'

- Amar