在面试时，面试官为了考察面试者是否真的有经验，经常会问运维集群时遇到什么问题，解决具体流程。下面是自己遇到HDFS Balancer没执行，花了半天时间进行排查，全网独家的案例和解决方案。
目录
使用CDH自带重新平衡操作
用命令行来进行操作
平衡操作的触发依赖以下几个条件：
如何排查非 HDFS 使用的空间
1. 检查磁盘使用情况
具体步骤：
2. 排查常见的非 HDFS 空间占用来源
3. 自动化检查工具
4. 清理策略
HDFS Balancer使用高级技巧
设置包含和排除节点
设置最大迁移速率
增加并发迁移线程数
使用CDH自带重新平衡操作
在CDH的所有主机看到有1台服务器的磁盘空间使用80%多，别的服务器才使用50%多。在CDH6.3.2的HDFS管理界面，操作选择重新平衡，在之前公司用过好多次，现在竟然没有作用。
用命令行来进行操作
可以用下面的命令来查看hdfs balancer的操作参数：
hdfs balancer -help
于是怀疑是不是阈值低了，或者CDH没开启配置。用下面的命令
阈值（threshold）用于控制触发平衡的使用率差异。CDH默认的阈值是10%，即当节点间磁盘使用率差异超过10%时，Balancer会启动平衡操作。可以通过以下命令来调整阈值，更低的阈值更容易触发：
hdfs balancer -threshold 5用上面的命令行还是没有触发。觉得很不合理，阈值是超过5%。
平衡操作的触发依赖以下几个条件：
-
节点磁盘使用率差异超过阈值：默认的平衡器阈值是 10%。如果一个DataNode的磁盘使用率比集群中其他节点的平均使用率高出10%，那么HDFS Balancer 就会触发数据块迁移操作。
-
HDFS 集群运行状态正常：Balancer 只在 HDFS 集群处于健康状态时运行。如果集群正在进行某些维护任务（如升级、修复等），Balancer 不会执行。
-
没有手动排除的节点：如果某些节点被排除在Balancer操作之外（通过 -exclude 参数或配置信息），这些节点将不会参与平衡操作，即使它们的使用率超出阈值。
为什么没触发平衡操作，HDFS Balancer计算的是节点DFS的磁盘空间使用率，并不包括不是不是HDFS占用的空间。
可以用hdfs dfsadmin -report 来观察集群配置情况。观察到
Hostname: cdh01
Rack: /default
Decommission Status : Normal
Configured Capacity: 16656052023296 (15.15 TB)
DFS Used: 4840676593599 (4.40 TB)
Non DFS Used: 8188630638657 (7.45 TB)
DFS Remaining: 2785643620165 (2.53 TB)
DFS Used%: 29.06%
DFS Remaining%: 16.72%
Configured Cache Capacity: 4294967296 (4 GB)
Cache Used: 0 (0 B)
Cache Remaining: 4294967296 (4 GB)
Cache Used%: 0.00%
Cache Remaining%: 100.00%
Xceivers: 31
Last contact: Fri Oct 11 15:09:51 CST 2024
Last Block Report: Fri Oct 11 15:03:24 CST 2024
Hostname: cdh02
Rack: /default
Decommission Status : Normal
Configured Capacity: 16656052023296 (15.15 TB)
DFS Used: 4827967553247 (4.39 TB)
Non DFS Used: 2653966696737 (2.41 TB)
DFS Remaining: 8333836684496 (7.58 TB)
DFS Used%: 28.99%
DFS Remaining%: 50.03%
Configured Cache Capacity: 4294967296 (4 GB)
Cache Used: 0 (0 B)
Cache Remaining: 4294967296 (4 GB)
Cache Used%: 0.00%
Cache Remaining%: 100.00%
Xceivers: 15
Last contact: Fri Oct 11 15:44:00 CST 2024
Last Block Report: Fri Oct 11 12:34:33 CST 2024
Hostname: cdh03
Rack: /default
Decommission Status : Normal
Configured Capacity: 16656052023296 (15.15 TB)
DFS Used: 4746786218883 (4.32 TB)
Non DFS Used: 2817949895805 (2.56 TB)
DFS Remaining: 8250599884860 (7.50 TB)
DFS Used%: 28.50%
DFS Remaining%: 49.54%
Configured Cache Capacity: 4294967296 (4 GB)
Cache Used: 0 (0 B)
Cache Remaining: 4294967296 (4 GB)
Cache Used%: 0.00%
Cache Remaining%: 100.00%
Xceivers: 25
Last contact: Fri Oct 11 15:43:59 CST 2024
Last Block Report: Fri Oct 11 14:15:08 CST 2024
上面的3个节点，cdh01的磁盘空间使用了80%多，另外2个节点磁盘空间只使用50%多。但为什么没有触发，觉得应该是由于HDFS Balance应该只是看DFS Used，这3个节点利用率差不多，所以没有触发操作。
如何排查非 HDFS 使用的空间
1. 检查磁盘使用情况
使用 Linux 命令行工具来查看文件系统中各个目录的磁盘使用情况。可以通过 du 命令逐层排查，识别占用大量空间的文件或目录。
具体步骤：
-
查看磁盘总使用情况
使用df -h命令查看各个挂载点的磁盘使用情况。df -h输出示例：
Filesystem Size Used Avail Use% Mounted on /dev/sda1 500G 450G 50G 90% /Filesystem Size Used Avail Use% Mounted on /dev/sda1 500G 450G 50G 90% /重点关注非 HDFS 数据所在的文件系统挂载点，确认使用情况。
-
使用
du排查具体目录
使用du命令可以查看目录的具体磁盘使用情况，并逐层定位占用磁盘空间较大的目录或文件。可以从根目录（或dfs.data.dir的父目录）开始进行排查。du -h --max-depth=1 /输出示例：
12G /var 30G /usr 8.1G /lib 50G /home 90G /此时，可以看到
/var、/usr、/home等目录的使用情况。通过将--max-depth参数调整为更深的层级，可以进一步深入查看子目录的使用情况。 -
递归查找特定目录内占用空间较大的文件 一旦发现了占用较大空间的目录，可以进一步使用
du命令查找目录内的文件或子目录。du -h --max-depth=1 /var例如：
2.5G /var/log 9.5G /var/lib 12G /var -
查看具体文件大小 一旦定位到具体的子目录，可以使用
ls -lh命令查看目录内的文件及其大小。ls -lh /var/log
2. 排查常见的非 HDFS 空间占用来源
以下是一些常见的占用非 HDFS 空间的地方：
-
系统日志文件 日志文件通常存储在
/var/log目录下，特别是 Hadoop 相关日志文件（如 HDFS、YARN、MapReduce）可能会占用大量空间。
检查/var/log目录下是否有过大的日志文件，例如：ls -lh /var/log可以定期清理旧日志或配置日志轮转机制（log rotation），避免日志文件无限增长。
-
本地临时文件 Hadoop 的数据节点和其他服务可能会在本地磁盘上创建临时文件，这些文件可能会积累过多，尤其是在任务失败或系统崩溃后。检查
/tmp或/var/tmp等临时目录的空间使用：du -h --max-depth=1 /tmp -
YARN/Nodemanager 的本地目录 Hadoop 的 YARN 框架在节点上运行任务时，会产生本地数据，特别是在 YARN Nodemanager 的本地目录中。这个目录通常配置为
yarn.nodemanager.local-dirs，可以查找该配置指向的目录并检查使用情况。du -h --max-depth=1 /path/to/yarn/local-dir -
应用程序生成的临时数据 如果节点上运行了其他应用程序或服务（例如数据库、监控系统），这些服务生成的文件可能占用较多磁盘空间。可以检查
/opt、/usr/local或者特定应用程序的存储目录。
3. 自动化检查工具
如果你不想手动排查，可以使用一些系统工具或脚本帮助识别大文件：
-
ncdu工具ncdu是一个基于 ncurses 的磁盘使用分析工具，可以通过图形化界面方便地查看每个目录占用的空间。 安装并使用：sudo apt-get install ncdu # Ubuntu/Debian sudo yum install ncdu # CentOS/RHEL ncdu / -
find命令查找大文件 你也可以使用find命令直接查找系统中超过一定大小的文件。例如，查找系统中超过 1 GB 的文件：find / -type f -size +1G -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'
4. 清理策略
排查到占用大量非 HDFS 空间的文件后，可以采取以下措施进行清理和优化：
- 删除不必要的日志文件或临时文件。
-
配置日志轮转：通过设置
logrotate来自动清理过时的日志文件。 -
定期清理临时目录：通过计划任务 (
cron) 定期清理/tmp、YARN 本地目录等临时存储。 - 调整系统或应用程序配置：检查 Hadoop 或其他服务的配置文件，避免过度使用磁盘空间（例如设置合理的本地临时文件清理策略）。
HDFS Balancer使用高级技巧
设置包含和排除节点
如果想对特定节点进行平衡操作，或者排除某些节点，可以使用 -include 或 -exclude 参数。例如：
- 包含节点：
hdfs balancer -include <node1,node2,...>
只对指定的节点进行平衡操作。
- 排除节点：
hdfs balancer -exclude <node1,node2,...>
排除指定的节点不进行平衡操作。
设置最大迁移速率
平衡操作可能会消耗较多带宽和系统资源，因此可以控制最大数据迁移速率。HDFS中通过参数 dfs.balance.bandwidthPerSec 控制每秒最大数据传输速率。默认值是 1 MiB/s，如果要加快或减慢平衡过程，可以通过以下方式修改：
- 修改 HDFS 配置文件
hdfs-site.xml 中的 dfs.balance.bandwidthPerSec 值：
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>10485760</value> <!-- 10 MiB/s -->
</property>
- 或者在命令行运行 Balancer 时指定速率：
hdfs balancer -bandwidth <字节数/秒>例如，设置为每秒传输 10 MiB 数据：
hdfs balancer -bandwidth 10485760增加并发迁移线程数
在一些大集群中，默认的并发迁移线程数可能不足以快速完成平衡操作。可以通过增加 dfs.balancer.moverThreads 参数，来允许更多的数据块同时迁移。例如，默认值是1000，可以根据集群负载情况适当增大这个值：
<property>
<name>dfs.balancer.moverThreads</name>
<value>2000</value>
</property>小结
HDFS Balancer 判断节点是否不平衡，主要依据的是每个节点的 磁盘使用率差异（DFS的使用率），不包括非DFS空间。集群节点之间的磁盘利用率一旦超过设定的阈值（threshold），HDFS Balancer 就会认为集群处于不平衡状态，进而触发数据块迁移操作。具体步骤如下：
- 收集节点磁盘使用情况：HDFS NameNode 会定期统计所有 DataNode 的磁盘使用情况。
- 比较节点之间的使用率差异：Balancer 会根据设定的 阈值（threshold），比较集群中不同节点的磁盘使用率。如果某些节点的使用率比其他节点高出设定的阈值，Balancer 就会认为集群不均衡。
- 决定数据块迁移：当节点间的使用率差异超过阈值，Balancer 会尝试将一些数据块从高使用率的节点迁移到低使用率的节点，以减小这种差异。