在Python/Spark中，我们可以做到:

def quiet_logs( sc ):
  logger = sc._jvm.org.apache.log4j
  logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
  logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )

定义Sparkcontaxt 'sc'后 通过以下方式调用此函数:

调整conf / log4j。其他描述的属性 log4j。rootCategory =错误控制台 确保在执行spark作业时使用log4j传递——file标志。属性文件路径 如果它仍然不起作用，您可能有一个包含log4j的jar。在新的log4j.properties之前被调用的属性。删除log4j。jar中的属性(如果合适)

如果您没有编辑java代码来插入. setloglevel()语句的能力，并且您不希望部署更多的外部文件，那么您可以使用暴力方法来解决这个问题。只需使用grep过滤掉INFO行。

spark-submit --deploy-mode client --master local <rest-of-cmd> | grep -v -F "INFO"

这个方法对我很管用。 对于仅显示为stdout的ERROR消息，请使用log4j。属性文件可能如下所示:

# Root logger option
log4j.rootLogger=ERROR, stdout
# Direct log messages to stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

注意:输入log4j。src/main/resources文件夹中的属性文件 有效。 如果log4j。属性不存在(意味着spark正在使用log4j-defaults)。然后你可以通过SPARK_HOME/conf和mv log4j.properties来创建它。模板log4j。属性，然后继续上述更改。

除了以上所有的帖子，下面是为我解决这个问题的方法。

Spark使用slf4j绑定到记录器。如果log4j不是找到的第一个绑定，则可以编辑log4j。所有你想要的属性文件，记录器甚至没有使用。例如，这可能是一个SLF4J输出:

SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/C:/Users/~/.m2/repository/org/slf4j/slf4j-simple/1.6.6/slf4j-simple-1.6.6.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/C:/Users/~/.m2/repository/org/slf4j/slf4j-log4j12/1.7.19/slf4j-log4j12-1.7.19.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.SimpleLoggerFactory]

所以这里使用了SimpleLoggerFactory，它不关心log4j设置。

排除slf4j-simple包从我的项目通过

<dependency>
        ...
        <exclusions>
            ...
            <exclusion>
                <artifactId>slf4j-simple</artifactId>
                <groupId>org.slf4j</groupId>
            </exclusion>
        </exclusions>
    </dependency>

解决了这个问题，因为现在使用log4j记录器绑定和log4j中的任何设置。属性。 F.Y.I.我的log4j属性文件包含(除了正常配置)

log4j.rootLogger=WARN, stdout
...
log4j.category.org.apache.spark = WARN
log4j.category.org.apache.parquet.hadoop.ParquetRecordReader = FATAL
log4j.additivity.org.apache.parquet.hadoop.ParquetRecordReader=false
log4j.logger.org.apache.parquet.hadoop.ParquetRecordReader=OFF

希望这能有所帮助!

如果还有人被这事困住了，

以上这些方法对我都不起作用。 我必须移除

implementation group: "ch.qos.logback", name: "logback-classic", version: "1.2.3"
implementation group: 'com.typesafe.scala-logging', name: "scala-logging_$scalaVersion", version: '3.9.2'

我的身材。Gradle为日志消失。TLDR:不要导入任何其他日志框架，只要使用org.apache.log4j.Logger就可以了