Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。
(1)HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。
(2)YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager
(3)MapReduce:它其实是一个应用程序开发包。
DFS的两个主要组成部分是
NameNode –这是主节点,用于处理HDFS中数据块的元数据信息
DataNode / Slave节点–这是一个充当从节点存储数据以供NameNode处理和使用的节点
除了满足客户端请求之外,NameNode还执行以下两个角色之一:
CheckpointNode –它运行在与NameNode不同的主机上
BackupNode-这是一个只读的NameNode,其中包含文件系统元数据信息(不包括块位置)
YARN的两个主要组成部分是:
ResourceManager –此组件接收处理请求,并根据处理需要相应地分配给相应的NodeManager。
NodeManager –在每个数据节点上执行任务。
了解更多大数据培训就业相关面试题欢迎关注小编!