将Hive表导出为.avro文件

Question

我创建了一个外部 Hive 表，如下所示：

CREATE EXTERNAL TABLE some_hive_table
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
LOCATION '/hdfs/path/some_hive_table/'
TBLPROPERTIES ('avro.schema.literal'='{json schema here}');

我想在其中运行一些Hive查询，并将数据导出到一个Avro文件中。我知道可以像这样导出数据：

INSERT
OVERWRITE DIRECTORY '/hdfs/path/avrofileoutput/' 
SELECT * FROM some_hive_table; 

但我希望我的输出文件是一个avro文件 - 而不是csv文件。是否可以实现，如果可以，如何实现？

- Tucker

Answer 1

无论InputStorage如何，您都可以使用以下命令将任何表导出为AVRO文件，将其导出到本地位置或HDFS位置。

从Hive 0.11.0开始

INSERT OVERWRITE LOCAL DIRECTORY '<Local directory>'
    STORED AS AVRO SELECT * FROM some_hive_table;

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Writingdataintothefilesystemfromqueries

- Munesh

Answer 2

你可以尝试下面的选项。

将以下内容插入到Hive表some_hive_table_avro中并覆盖原有数据：select * from some_hive_table_text;

- Venkatesh

---

但是它导出到另一个Hive表。我想要导出到一个Avro文件。这个表是否创建了一个底层的Avro文件，这就是我要找的东西吗？ - Tucker

是的，您可以使用底层的.avro文件。如果您仍希望它成为单个avro文件，则可以尝试以下命令。hadoop fs -cat /<path_to_avro_files>/* > student.avro - Venkatesh