自定义指标在Apache Spark Ui中的应用

Question

5

我正在使用Apache Spark，指标UI（在4040上找到）非常有用。

我想知道是否可以在此UI中添加自定义指标，自定义任务指标，但也许还有自定义RDD指标。（例如仅针对RDD转换执行时间）

将自定义指标按流批处理作业和任务分组将会很好。

我已经看到了TaskMetrics对象，但它被标记为dev api，并且它看起来只适用于输入或输出源，不支持自定义值。

是否有Spark的方法来实现这一点？或者有其他替代方案吗？

- crak

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Andrea · Answer 1

你可以使用Spark内置的共享变量支持[1]。我经常用它们来实现类似的功能。