我正在使用Apache Spark,指标UI(在4040上找到)非常有用。
我想知道是否可以在此UI中添加自定义指标,自定义任务指标,但也许还有自定义RDD指标。(例如仅针对RDD转换执行时间)
将自定义指标按流批处理作业和任务分组将会很好。
我已经看到了TaskMetrics对象,但它被标记为dev api,并且它看起来只适用于输入或输出源,不支持自定义值。
是否有Spark的方法来实现这一点?或者有其他替代方案吗?
我正在使用Apache Spark,指标UI(在4040上找到)非常有用。
我想知道是否可以在此UI中添加自定义指标,自定义任务指标,但也许还有自定义RDD指标。(例如仅针对RDD转换执行时间)
将自定义指标按流批处理作业和任务分组将会很好。
我已经看到了TaskMetrics对象,但它被标记为dev api,并且它看起来只适用于输入或输出源,不支持自定义值。
是否有Spark的方法来实现这一点?或者有其他替代方案吗?