HDFS的可靠性

HDFS的可靠性

1、冗余副本策略   2、机架策略    3、心跳机制    4、安全模式

5、校验和           6、回收站       7、元数据保护    8、快照机制

1、冗余副本策略

可以在hdfs-site.xml中设置复制因子指定副本数量
 所有数据块都有副本
 Datanode启动时,遍历本地文件系统,产生一份hdfs数据块和本地文件的对应关系列表(blockreport)汇报给namenode

2、机架策略

集群一般放在不同机架上,机架间带宽要比机架内带宽要小
 HDFS的“机架感知”
 一般在本机架存放一个副本,在其它机架再存放别的副本,这样可以防止机架失效时
丢失数据,也可以提高带宽利用率

3、心跳机制

Namenode周期性从datanode接收心跳信号和块报告
 Namenode根据块报告验证元数据
 没有按时发送心跳的datanode会被标记为宕机,不会再给它任何I/O请求
 如果datanode失效造成副本数量下降,并且低于预先设置的阈值,namenode会检测出这些数据块,并在合适的时机进行重新复制
 引发重新复制的原因还包括数据副本本身损坏、磁盘错误,复制因子被增大等

4、安全模式

Namenode启动时会先经过一个“安全模式”阶段
 安全模式阶段不会产生数据写
 在此阶段Namenode收集各个datanode的报告,当数据块达到最小副本数以上时,
会被认为是“安全”的
 在一定比例(可设置)的数据块被确定为“安全”后,再过若干时间,安全模式结束
 当检测到副本数不足的数据块时,该块会被复制直到达到最小副本数

5、校验和

在文件创立时,每个数据块都产生校验和
 校验和会作为单独一个隐藏文件保存在命名空间下
 客户端获取数据时可以检查校验和是否相同,从而发现数据块是否损坏
 如果正在读取的数据块损坏,则可以继续读取其它副本

6、回收站

删除文件时,其实是放入回收站/trash
 回收站里的文件可以快速恢复
 可以设置一个时间阈值,当回收站里文件的存放时间超过这个阈值,就被彻底删除,并且释放占用的数据块

7、元数据保护

映像文件刚和事务日志是Namenode的核心数据。可以配置为拥有多个副本
 副本会降低Namenode的处理速度,但增加安全性
 Namenode依然是单点,如果发生故障要手工切换

8、快照机制

支持存储某个时间点的映像,需要时可以使数据重返这个时间点的状态
 Hadoop目前还不支持快照,已经列入开发计划

怎样添加新节点?

在新节点安装好hadoop
 把namenode的有关配置文件复制到该节点
 修改masters和slaves文件,增加该节点
 设置ssh免密码进出该节点
 单独启动该节点上的datanode和tasktracker(hadoop-daemon.sh start datanode/tasktracker)
 运行start -balancer.sh进行数据负载均衡

负载均衡:

作用:当节点出现故障,或新增加节点时,数据块分布可能不均匀,负载均衡可以重新平衡各个datanode上数据块的分布

上一篇:设置grub密码


下一篇:开发使用混合式Winform模块