在Azure HDInsights中从分区的Parquet文件创建Hive外部表

Question

在Azure HDInsights中从分区的Parquet文件创建Hive外部表

14

我在Azure Blob存储中保存了作为Parquet文件的数据，按年、月、日和小时进行了分区，如下所示：

cont/data/year=2017/month=02/day=01/

我想使用以下创建语句在Hive中创建外部表，我是使用此参考文档编写的。

CREATE EXTERNAL TABLE table_name (uid string, title string, value string) 
PARTITIONED BY (year int, month int, day int) STORED AS PARQUET 
LOCATION 'wasb://cont@storage_name.blob.core.windows.net/data';

在查询时，这会创建一个表，但没有行。我尝试了同样的创建语句，但没有使用PARTITIONED BY子句，那似乎可以工作。所以看起来问题出在分区上。

我错过了什么？

- chhantyal

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- David דודו Markovitz · Accepted Answer

创建分区表后，运行以下命令以将目录添加为分区。

MSCK REPAIR TABLE table_name;

如果您有大量分区，则可能需要设置 hive.msck.repair.batch.size。

当存在大量未跟踪的分区时，可以通过批处理运行 MSCK REPAIR TABLE 以避免 OOME（内存不足错误）。通过为属性 hive.msck.repair.batch.size 配置批处理大小，它可以在内部批处理运行。该属性的默认值为零，这意味着它将一次执行所有分区。 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-RecoverPartitions(MSCKREPAIRTABLE)

由原帖作者撰写：

这可能会解决你的问题，但是如果数据非常大，它将无法工作。在此处查看相关问题here。

作为一种解决方法，还有另一种逐个添加Hive Metastore分区的方法，如下所示：

alter table table_name add partition(year=2016, month=10, day=11, hour=11)

我们编写了一个简单的脚本来自动化这个alter语句，目前似乎可以工作。