Spark应用程序和日志记录MDC（映射诊断上下文）

Question

4

我正在寻找一种方法，将我的驱动程序的MDC转发到主节点和工作节点，以便我可以识别来自同一操作的消息？例如，我有一个应用程序相关的查询/作业ID，我希望将其附加到我的Spark工作器中的结构化日志消息中。

问候。

- Joachim Rosskopf

你有没有找到这个问题的答案？ - Glide

很遗憾，不行。 - Joachim Rosskopf

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- vit fiala · Accepted Answer

如果我理解正确的话（我是Spark的新手），根据3.1版本的更新，现在可以通过spark.sparkContext.setLocalProperty("mdc." + name, "value")添加自定义MDC条目。请参考PR了解更多详细信息。