24得票6回答
使用SparkSQL HiveContext的"INSERT INTO ..."

我正在尝试使用HiveContext运行插入语句,就像这样:hiveContext.sql('insert into my_table (id, score) values (1, 10)') 1.5.2 Spark SQL 文档 没有明确说明是否支持此功能,尽管它支持“动态分区插入”。这会导...

15得票2回答
刷新外部Hive表 vs 使用MSCK修复表格

我有一个存储为Parquet格式的外部Hive表,按照一个名为as_of_dt的列进行分区,并通过Spark Streaming插入数据。现在每天都会添加新的分区。我正在执行msck repair table,以便Hive metastore获取新添加的分区信息。这是唯一的方法吗?还是有更好的...