如何在Apache Spark 2中关闭生成代码的日志记录？

Question

我最近将一个项目升级到了Apache Spark 2.1.0。

代码生成功能会将生成的代码内容写入标准输出。例如：

// Class file version = 49.0 (J2SE 5.0)

package org.apache.spark.sql.catalyst.expressions;

public class GeneratedClass extends codegen.GeneratedClass {

// Enclosing/enclosed types:
//   GeneratedClass { final class GeneratedClass$GeneratedIterator }

public Object generate(Object[] p1) {
    new             GeneratedClass$GeneratedIterator
    dup            
    aload           [this]
    aload           [Object[] p1]
    invokespecial   GeneratedClass$GeneratedIterator(GeneratedClass, Object[])
    areturn        
}

虽然我找到了选项spark.sql.codegen.wholeStage来启用/禁用代码生成，但我没有找到任何选项仅关闭生成代码的输出。

这是通过spark选项控制的吗？还是通过日志配置？

- Ken Koster

Answer 1

import org.slf4j.LoggerFactory;
import ch.qos.logback.classic.Level;
import ch.qos.logback.classic.Logger;

Logger root = (Logger)LoggerFactory.getLogger(Logger.ROOT_LOGGER_NAME);
root.setLevel(Level.INFO); 

- mohit bhindwal