Hadoop DataNode 多目录磁盘扩展配置

工作中不免会有碰到服务器磁盘空间不足,需要另外挂载磁盘上去的时候,这时候问题就来了,怎么能让datanode将数据写入新挂载的磁盘呢?

1、配置hdfs-site.xml

<property>
    <name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///sdb1/dfs/data2</value>
</property>

2、数据存放策略

参考大佬博客   https://blog.csdn.net/bigdatahappy/article/details/39992075

默认为轮询,现在的情况显然应该用“选择空间多的磁盘存”模式

配置hdfs-site.xml

<property>
    <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
    <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
  </property>

 

上一篇:趣头条百PB规模 Hadoop实践(HDFS篇)


下一篇:hadoop之HDFS介绍