我正在寻找一种方法,将我的驱动程序的MDC转发到主节点和工作节点,以便我可以识别来自同一操作的消息?例如,我有一个应用程序相关的查询/作业ID,我希望将其附加到我的Spark工作器中的结构化日志消息中。 不可能吗? 未记录? 很容易,只是我太笨了找不到? 问候。
如果我理解正确的话(我是Spark的新手),根据3.1版本的更新,现在可以通过spark.sparkContext.setLocalProperty("mdc." + name, "value")添加自定义MDC条目。请参考PR了解更多详细信息。