我有两个笔记本电脑。第一个笔记本使用 tweepy 从 Twitter 读取推文并将其写入套接字中。另一个笔记本使用 Spark Structured Streaming(Python)从该套接字中读取推文并将结果写入控制台。不幸的是,我在 Jupyter 控制台上没有得到输出。在 Pycharm 上,代码运行良好。
spark = SparkSession \
.builder \
.appName("StructuredStreaming") \
.getOrCreate()
spark.sparkContext.setLogLevel("ERROR")
# This is Spark Structured Streaming Code which is reading streams from twitter and showing them on console.
tweets = spark \
.readStream \
.format("socket") \
.option("host", "127.0.0.1") \
.option("port", 7000) \
.load()
query = tweets \
.writeStream \
.option("truncate", "false") \
.outputMode("append") \
.format("console") \
.start()
query.awaitTermination()