我有几个基本问题与Spark Streaming相关:
[如果这些问题已经在其他帖子中得到了解答,请告诉我 - 我找不到任何]:
(i) 在Spark Streaming中,RDD中的分区数量默认情况下是否等于工作节点数?
(ii) 在Spark-Kafka集成的直接方法中,创建的RDD分区数等于Kafka分区数。 是否正确假设每个RDD分区 i 在DStream
的每个批次中都会映射到相同的工作节点j
?也就是说,将分区映射到工作节点的映射仅基于分区的索引吗? 例如,分区2在一个批次中被分配给worker 1,在另一个批次中被分配给worker 3,这种情况是否可能发生?
提前致谢。