一、对于CDH的小总结:
CDH:是Cloudera公司在Apache开源项目hadoop的基础上发型的,共有五个版本
前两个已不再更新,最经的两个分别是CDH4(基于hadoop2.0.0版本演化而来)、
CDH5(每隔一段时间就会有更新)
CDH与Apache hadoop的区别:
1.CDH的版本更加清晰,现在只有两个版本CDH3(基于hadoop1.0)和
CDH4(基于hadoop2.0),hadoop的版本相对较混乱,CDH比Apache hadoop
在兼容性、安全性、稳定性上有所增强;
2.CDH在hadoop基础上加入了很多的Patch和修复了BUG,更新速度比hadoop要快。
3.安全,CDH支持kerberos安全认证,Apache hadoop只支持简单的用户名匹配认证。
4.CDH的安装方式有四种:YUM/Apt包、Tar包、RPM包、Cloudera Manager
而Apache hadoop只支持Tar安装。
二、SecondaryNameNode的作用:
1.SecondaryNameNode是一个NameNode的快照,它会定期的根据配置:
fs.checkpoint.period,默认值是3600秒,去查看备份NameNode节点上的
fsimage镜像文件和edits日志文件,并定期对这两个文件进行合并,将
edits文件的控制在一定的大小限度内。fs.checkpoint.size:设置了
edits文件的大小,默认是64M,一旦edits大于这个值的时候回强制执行检查点。
2.SecondaryNameNode作为一个检查点会保存最新的检查点的目录结构信息
与NameNode上的目录结构信息是一致的,以前的fsimage和的edits会自动丢失。
3.当NameNode意外挂掉的时候,需要人为手动的将SecondaryNameNode检查点的信息
复制到NameNode节点:具体操作如下:
前提:目录已经丢失
a.把SecondaryNameNode节点中 ${fs.checkpoint.dir} 的所有内容拷贝到
NameNode节点的 ${fs.checkpoint.dir} 目录中
b.创建一个空的文件夹dfs.namenode.name.dir所指向的文件夹;
c.启动NameNode:hadoop namenode -importCkeckpoint
(该步会从${fs.checkpoint.dir}中恢复到${dfs.namenode.name.dir}中,
并启动namenode)
三、根据Yarn的架构描述一下一个资源的请求流程:
1.Nodemanager向ResourceManager注册各个机器的资源;
2.客户端Client向ResourceManager提交作业;
3.ApplicationMaster(位于其中的一个NodeManager上)向ResourceManager请
求资源,并判断NodeManager上现有的资源是否满足需求;
4.ResourceManager以Container的形式将资源发送给ApplicationMaster;
5.ApplicationMaster将得到的资源分发给NodeManager,各个NodeManager根据
Container,启动一定数量的Task运行作业;
6.Container(包含了CPU,硬盘,环境配置,启动命令等信息)作为资源单元保证了作业的隔离运行。
7.各个Task定期的通过心跳机制给ApplicationMaster汇报任务的完成状况。最
终直至任务完成,ApplicaMaster将完成信息返回给ResourceManager。
如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。
如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。
如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【飞翔的小伟】,谢谢!
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。