参照官方文档:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html
1)对YARN调优:
我们实际是2颗CPU,一共24核心数,上面的服务用掉了5核,还剩下24-5=19核心
我们实际的64G的内存,64-1-1-(64*20%)=49G
修改YARN的配置页面,按照上面的算法修改配置参数:
修改参数过后需要重启集群
2)对系统优化:
File System:
Linux文件系统中为了保证root能够登录到操作系统中,需要保留一定的磁盘空间,默认这个值设置为5%。但是当前磁盘空间都是TB级别的,因此保留5%就会造成一大部分空间的浪费,对于一块4TB来说就是200G。
下面的命令可以将保留磁盘空间的容量设置成1%:
tune2fs –m 1 /dev/sdaX
12块硬盘增加noatime的参数:
/dev/sda1 /data1 ext4 defaults,noatime 0 0
修改完设置后需要重新挂载文件系统,不需要重启。
mount -o remount /dev/sdX1
原文:https://blog.csdn.net/jdzms23/article/details/44495167