Spark Streaming和高可用性

Question

Spark Streaming和高可用性

apache-sparkspark-streaminghigh-availability

3

我正在构建一个基于Apache Spark的应用程序，该应用程序可作用于多个流。

我已阅读文档中的性能调优部分：http://spark.apache.org/docs/latest/streaming-programming-guide.html#performance-tuning。

但我仍有以下疑问：

1）数据流接收器是否位于多个工作节点或驱动程序机器上？

2）如果接收数据的节点之一失败（断电/重新启动），会发生什么？

- Piotr Reszke

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Yuval Itzchakov · Accepted Answer

流接收器位于多个工作节点上还是驱动程序机器上？

接收器位于工作节点上，负责消费持有数据的源。

如果接收数据的其中一个节点失败（关机/重新启动），会发生什么情况？

接收器位于工作节点上。工作节点从驱动程序获取其任务。如果您在客户端模式下运行，则该驱动程序可以位于专用主服务器上；如果您在集群模式下运行，则该驱动程序可以位于其中一个工作节点上。如果失败的节点不运行驱动程序，则驱动程序将重新分配在故障节点上保存的分区到另一个节点上，该节点将能够从源重新读取数据，并进行必要的附加处理以恢复故障。这就是为什么需要可重放源，例如Kafka或AWS Kinesis的原因。