我在一个集群中工作,我没有权限更改文件log4j.properties以在使用pyspark时停止信息记录(如第一个答案here中所述).以下解决方案在上面的问题的第一个答案中解释为spark工作-shell(scala)

import org.apache.log4j.Logger
import org.apache.log4j.Level

但对于python(即pyspark)的火花,它不起作用,也不起作用

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

如何在不更改log4j.properties文件的情况下停止在pyspark中详细打印信息？

解决方法:

我使用了sc.setLogLevel(“ERROR”),因为我没有对集群的log4j.properties文件的写访问权.从docs：

Control our logLevel. This overrides any user-defined log settings. Valid log levels include: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN