Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

 对于Hadoop里的HA,有hdfs HA和resourcemanger HA之分。

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

1、hdfs HA

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

为什么引入federation?

  因为,这样能达到允许在一个集群里,有多对namenode。通常引入hdfs HA后,是一对namenode。但,在其后,又引入了federation。

  Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

  Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

  Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

以上是,weekend01(active)、weekend02(standby)

当weekend01给kill 掉namenode ,

变成weekend01(standby)、weekend02(active)

*********************************************************************************************************

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

模拟weekend02断电

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

以上是weekend01(standby)、weekend02(active)

当weekend02断电后,再启动

weekend01(active)、weekend02(standby)

***************************************************************************************************

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

以上是weekend01(active)、weekend02(standby)

当weekend01在传文件时,weekend02杀掉namenode进程,

依然还是weekend01(active)、weekend02(standby)

以上是weekend01、02的hdfs的HA测试

----------------------------------------------------------------------------------------------------------------------------------、

  2、yarn HA

  Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

现在,用指令来切换

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

这样,是告诉我们,有时候会碰到,如weekend01、02都是standby时,来命令将其中一个切换成active

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

weekend03、04的yarn的HA测试

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

现在,来测试

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

会发现,yrcrm1 变成  yrcrm2

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

只是,yarn的HA仅限于此,跟hdfs的HA不一样,

如weekend01(active)在上传文件,突然中断,weekend02(standby)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

对于,weekend03、04的yarn的HA,

现在是,weekend03(standby)提交作业,weekend04(active)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

weekend07上,共有8个yarnchild,

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Weekend05、06、07一起,是20个yarnchild,跑作业的节点。

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

Hadoop概念学习系列之Hadoop HA进一步深入(二十八)

对于,weekend03、04的yarn的HA,

现在是,weekend03(standby)提交作业,weekend04(active)

现在依然还是,weekend03(standby)提交作业,weekend04(active)

以上是Weekend03、4的yarn的HA测试

总结:

以上是weekend01、02的hdfs的HA测试

Weekend03、4的yarn的HA测试

Weekend05、06、07是用来跑作业的,

上一篇:Linux+Gurobi-python


下一篇:【读书笔记】iOS网络-应用间通信