Resources are low on NN. Please add or free up more resources then turn off safe mode manually.

提交spark应用到yarn集群上的时候在跑一段时间就会出现这个报错:

Resources are low on NN. Please add or free up more resources then turn off safe mode manually.

根据上面的报错原因分析是因为集群资源不够,集群的自我保护机制使hdfs处于安全模式,然后我用”hdfs dfsadmin -safemode leave“命令让集群恢复到可用模式但是在提交到集群时还是会报错同样的错误

然后就查找资料说的是节点空间不足,然后就用 df -hl命令查看集群空间的使用情况

Resources are low on NN. Please add or free up more resources then turn off safe mode manually.

看到上面的使用情况资源已经使用100%了

然后在使用du -sh /* 看看是拿些大文件占用了空间

Resources are low on NN. Please add or free up more resources then turn off safe mode manually.

然后把这些占用空间大的文件移动到别的地方然后重新提交任务,到此错误完美解决

//安全模式的开启和关闭

 hdfs dfsadmin -safemode get
 hdfs dfsadmin -safemode leave
上一篇:解决“docker: Error response from daemon: Unknown runtime specified nvidia”问题


下一篇:一个Python项目的创建架构