HDFS和YARN的各个组件

Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。

(1)HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。

(2)YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager

(3)MapReduce:它其实是一个应用程序开发包。

DFS的两个主要组成部分是

  NameNode –这是主节点,用于处理HDFS中数据块的元数据信息

  DataNode / Slave节点–这是一个充当从节点存储数据以供NameNode处理和使用的节点

  除了满足客户端请求之外,NameNode还执行以下两个角色之一:

  CheckpointNode –它运行在与NameNode不同的主机上

  BackupNode-这是一个只读的NameNode,其中包含文件系统元数据信息(不包括块位置)

YARN的两个主要组成部分是:

  ResourceManager –此组件接收处理请求,并根据处理需要相应地分配给相应的NodeManager。

  NodeManager –在每个数据节点上执行任务。

了解更多大数据培训就业相关面试题欢迎关注小编!

HDFS和YARN的各个组件

上一篇:怎样在 Svelte 列表渲染块中指定 key 和 引用 index


下一篇:我的第一篇博客2021-9-9 Markdown的使用