我想更新一个orc格式的hive表,我可以从ambari hive视图更新,但无法从sacla(spark-shell)运行相同的更新语句。
objHiveContext.sql(“select * from table_name”)能够查看数据,但是当我运行
objHiveContext.sql(“update table_name set column_name ='testing'”)无法运行,会出现一些Noviable异常(在更新附近的无效语法等),而我可以从Ambari视图更新(因为我设置了所有必需的配置,即TBLPROPERTIES“ orc.compress”=“ NONE”事务真实等)
尝试使用case语句插入等,但是没有成功 我们可以从spark更新hive ORC表吗? 如果可以,那么程序是什么?
已导入如下
注意:我没有在那个表上应用任何分区或桶操作。如果我应用桶操作,即使将数据存储为ORC格式,我也无法查看数据。Hive版本:1.2.1,Spark版本:1.4.1,Scala版本:2.10.6。
objHiveContext.sql(“select * from table_name”)能够查看数据,但是当我运行
objHiveContext.sql(“update table_name set column_name ='testing'”)无法运行,会出现一些Noviable异常(在更新附近的无效语法等),而我可以从Ambari视图更新(因为我设置了所有必需的配置,即TBLPROPERTIES“ orc.compress”=“ NONE”事务真实等)
尝试使用case语句插入等,但是没有成功 我们可以从spark更新hive ORC表吗? 如果可以,那么程序是什么?
已导入如下
import org.apache.spark.SparkConf
import org.apache.spark.SparkConf
import org.apache.spark._
import org.apache.spark.sql._
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.orc._
注意:我没有在那个表上应用任何分区或桶操作。如果我应用桶操作,即使将数据存储为ORC格式,我也无法查看数据。Hive版本:1.2.1,Spark版本:1.4.1,Scala版本:2.10.6。