Hadoop记录-HDFS balancer配置

HDFS balancer配置(可通过CM配置)
dfs.datanode.balance.max.concurrent.moves

并行移动的block数量,默认5

dfs.datanode.balance.bandwidthPerSec

Balance工具所占用的带宽,默认1048576(1MB)

dfs.balancer.moverThreads

用于执行block移动的线程池大小,默认1000

dfs.balancer.max-size-to-move

每次balance进行迭代的过程最大移动数据量,默认10737418240(10GB)

dfs.balancer.getBlocks.size

获取block的数量,默认2147483648(2GB)

dfs.balancer.getBlocks.minblock-size

用来平衡的最小block大小,默认10485760(10MB)

dfs.datanode.blockpinning.enabled

hdfs balancer

[-threshold <threshold>]

[-policy <policy>]

[-exclude [-f <hosts-file> | <comma-separated list of hosts>]]

[-include [-f <hosts-file> | <comma-separated list of hosts>]]

[-idleiterations <idleiterations>]

参数说明:

-threshold

某datanode的使用率和整个集群使用率的百分比差值阈值,达到这个阈值就启动hdfs balancer,取值从1到100,不宜太小,因为在平衡过程中也有数据写入,太小无法达到平衡

-policy

分为blockpool和datanode,前者是block pool级别的平衡后者是datanode级别的平衡

-exclude

不为空,则不在这些机器上进行平衡

-include

不为空,则仅在这些机器上进行平衡

-idleiterations  最大迭代次数

1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers

2.修改dfs.datanode.balance.bandwidthPerSec  = 31457280 ,指定DataNode用于balancer的带宽为30MB,这个示情况而定,如果交换机性能好点的,完全可以设定为50MB,单位是Byte,如果机器的网卡和交换机的带宽有限,可以适当降低该速度,默认是1048576(1MB)

3.修改dfs.datanode.balance.max.concurrent.moves = 50,指定DataNode上同时用于balance待移动block的最大线程个数,这个值默认是5

上一篇:linux之测试硬盘速度篇


下一篇:Linux 下测试串口的命令microcom