调整conf / log4j。其他描述的属性 log4j。rootCategory =错误控制台 确保在执行spark作业时使用log4j传递——file标志。属性文件路径 如果它仍然不起作用，您可能有一个包含log4j的jar。在新的log4j.properties之前被调用的属性。删除log4j。jar中的属性(如果合适)

如果您没有编辑java代码来插入. setloglevel()语句的能力，并且您不希望部署更多的外部文件，那么您可以使用暴力方法来解决这个问题。只需使用grep过滤掉INFO行。

spark-submit --deploy-mode client --master local <rest-of-cmd> | grep -v -F "INFO"

这个方法对我很管用。 对于仅显示为stdout的ERROR消息，请使用log4j。属性文件可能如下所示:

# Root logger option
log4j.rootLogger=ERROR, stdout
# Direct log messages to stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

注意:输入log4j。src/main/resources文件夹中的属性文件 有效。 如果log4j。属性不存在(意味着spark正在使用log4j-defaults)。然后你可以通过SPARK_HOME/conf和mv log4j.properties来创建它。模板log4j。属性，然后继续上述更改。

我只是将这一行添加到所有pyspark脚本的顶部，就在import语句的下面。

SparkSession.builder.getOrCreate().sparkContext.setLogLevel("ERROR")

我的pyspark脚本的示例头

from pyspark.sql import SparkSession, functions as fs
SparkSession.builder.getOrCreate().sparkContext.setLogLevel("ERROR")

上面的答案是正确的，但并没有完全帮助我，因为我需要额外的信息。

我刚刚设置了Spark，所以log4j文件仍然有'。并且没有被读取。我相信日志记录默认为Spark core logging conf。

所以，如果你和我一样，发现上面的答案没有帮助，那么也许你也需要删除'。从你的log4j conf文件的模板后缀，然后上面的工作完美!

http://apache-spark-user-list.1001560.n3.nabble.com/disable-log4j-for-spark-shell-td11278.html

博士tl;

对于Spark Context，您可以使用: sc.setLogLevel (< logLevel >) 其中loglevel可以是ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE或 警告。

细节- - - - - -

在内部，setLogLevel调用org.apache.log4j.Level.toLevel(logLevel)，然后使用org.apache.log4j.LogManager.getRootLogger(). setlevel (level)进行设置。

您可以使用以下方法直接将日志级别设置为OFF: LogManager.getLogger(“org”).setLevel (Level.OFF)

您可以在conf/log4j.properties中设置Spark shell的默认日志记录。使用conf / log4j . properties。模板作为起点。

在Spark应用程序中设置日志级别

在独立的Spark应用程序中或在Spark Shell会话中，使用以下命令:

import org.apache.log4j.{Level, Logger}

Logger.getLogger(classOf[RackResolver]).getLevel
Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

禁用日志记录(在log4j中):

在conf/log4j中使用以下命令。属性完全禁用日志记录:

log4j.logger.org=OFF

参考:Jacek Laskowski的Mastering Spark。