如何将Spark Structured Streaming数据写入Hive?
有df.write().saveAsTable(tablename)
,但我不确定是否可以写入流数据。
通常我会使用df.writeStream().trigger(new ProcessingTime(1000)).foreach(new KafkaSink()).start()
将流数据写入Kafka,但我没有看到任何类似的内容来将流数据写入Hive数据仓库。有什么想法吗?
如何将Spark Structured Streaming数据写入Hive?
有df.write().saveAsTable(tablename)
,但我不确定是否可以写入流数据。
通常我会使用df.writeStream().trigger(new ProcessingTime(1000)).foreach(new KafkaSink()).start()
将流数据写入Kafka,但我没有看到任何类似的内容来将流数据写入Hive数据仓库。有什么想法吗?
df.createOrReplaceTempView("mytable")
spark.sql("create table mytable as select * from mytable");
或者
df.write().mode(SaveMode.Overwrite).saveAsTable("dbName.tableName");