dfs.datanode.handler.count默认为3,大集群可以调整为10
传统MapReduce和yarn对比
如果服务器物理内存128G,则容器内存建议为100比较合理
配置总量时考虑系统调优块,双路四核2*4*2=16g,则总量设置为10到12比较合适,需要预留空间给其他服务器
需要给master分配足够资源,并且分配受限于yarn
hadoop调优需要不断尝试,没有固定的套路
2022-06-23 17:13:29
dfs.datanode.handler.count默认为3,大集群可以调整为10
传统MapReduce和yarn对比
如果服务器物理内存128G,则容器内存建议为100比较合理
配置总量时考虑系统调优块,双路四核2*4*2=16g,则总量设置为10到12比较合适,需要预留空间给其他服务器
需要给master分配足够资源,并且分配受限于yarn
hadoop调优需要不断尝试,没有固定的套路