如何将Spark结构化流数据写入Hive？

Question

如何将Spark Structured Streaming数据写入Hive？

有df.write().saveAsTable(tablename)，但我不确定是否可以写入流数据。

通常我会使用df.writeStream().trigger(new ProcessingTime(1000)).foreach(new KafkaSink()).start()将流数据写入Kafka，但我没有看到任何类似的内容来将流数据写入Hive数据仓库。有什么想法吗？

- user1870400

Answer 1

df.createOrReplaceTempView("mytable") 
spark.sql("create table mytable as select * from mytable");

或者

df.write().mode(SaveMode.Overwrite).saveAsTable("dbName.tableName");

- Sahil Desai

---

如果您想将数据添加到同一张表中，那么您需要使用 .mode(SaveMode.append)。 - Sahil Desai

我认为这个问题是关于如何将流式数据写入Hive的信息。而你提供的解决方案是针对批量数据的。请问需要翻译其他内容吗？ - Naman Agarwal