机架感知(副本存储节点选择)| 学习笔记

开发者学堂课程【Hadoop 分布式文件系统 HDFS机架感知(副本存储节点选择)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/93/detail/1454


机架感知(副本存储节点选择)


内容介绍:

一、官方IP地址


一、官方ip地址

1、机架感知说明(官网地址)

机架感知(副本存储节点选择)| 学习笔记

对于常见情况,当复制因子为三时, HDFS 的放置策略是在本地机架上的一个节点上放置一个副本,在本地机架上的另一个节点上放置另一个副本,最后在不同机架上的不同节点上放置一个副本。

该策略减少了帧间写入流量,一般提高了写入性能。机架故障的机会远小于节点故障的概率;该策略不影响数据可靠性和可用性保证。然而,它确实减少了读取数据时使用的总网络带宽,因为块只放置在两个唯一的机架中而不是三个。

使用此策略,文件的副本不会均匀分布在机架上。三分之一的副本位于一个节点上,三分之二个副本在一个机架上,其余第三个均匀分布在其余机架上。此策略在不损害数据可靠性或读取性能的情况下提高写入性能。

2、Hadoop2.7.2副本节点选择

第一个副本在 Client 所处的节点上。如果客户端在集群外,随机选一个。

第二个副本和第一个副本位于相同机架,随机节点

第三个副本位于不同机架,随机节点。

机架感知(副本存储节点选择)| 学习笔记

 

上一篇:小文件归档案例| 学习笔记


下一篇:JAVA之旅(三)——数组,堆栈内存结构,静态初始化,遍历,最值,选择/冒泡排序,二维数组,面向对象思想