Hadoop的三大核心组件

2024-02-11 20:01:34

Hadoop的三大核心组件分别是：

  1. HDFS（Hadoop Distribute File System）：hadoop的数据存储工具。
  2. YARN（Yet Another Resource Negotiator,另一种资源协调者）：Hadoop 的资源管理器。
  3. Hadoop MapReduce:分布式计算框架

HDFS

1. HDFS概述

HDFS是google三大论文之一的GFS的开源实现，是一个高度容错性的系统，适合部署在廉价的机器上的，适合存储海量数据的分布式文件系统。
在HDFS中，1个文件会被拆分成多个Block，每个Block默认大小为128M（可调节）。这些Block被复制为多个副本，被存放在不同的主机上，这也保证了HDFS的高容错性。

2. HDFS架构

HDFS采用Master/slave架构模式，1一个Master(NameNode/NN) 带 N个Slaves(DataNode/DN)。
从内部来看，数据块存放在DataNode上。
NameNode执行文件系统的命名空间，如打开、关闭、重命名文件或目录等，也负责数据块到具体DataNode的映射。
DataNode负责处理文件系统客户端的文件读写，并在NameNode的统一调度下进行数据库的创建、删除和复制工作。
NameNode是所有HDFS元数据的管理者，用户数据永远不会经过NameNode。

NN：

1）负责客户端请求的响应
2）负责元数据（文件的名称、副本系数、Block存放的DN）的管理

DN：

1）存储用户的文件对应的数据块(Block)
2）要定期向NN发送心跳信息，汇报本身及其所有的block信息，健康状况

3. HDFS读写流程

写数据流程

  1. 客户端Client向远程的Namenode发起RPC请求
  2. Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录， 否则会让客户端抛出异常；
  3. 当客户端开始写入文件的时候， 客户端会将文件切分成多个packets， 并在内部以数据队列“data queue（ 数据队列） ”的形式管理这些packets， 并向Namenode申请blocks， 获取用来存储replications的合适的datanode列表， 列表的大小根据Namenode中replication的设定而定；
  4. 开始以pipeline（ 管道） 的形式将packet写入所有的replications中。 客户端把packet以流的方式写入第一个datanode， 该datanode把该packet存储之后， 再将其传递给在此pipeline中的下一个datanode， 直到最后一个datanode， 这种写数据的方式呈流水线的形式。
  5. 最后一个datanode成功存储之后会返回一个ack packet（ 确认队列） ， 在pipeline里传递至客户端， 在客户端的开发库内部维护着”ack queue”， 成功收到datanode返回的ack packet后会从”ack queue”移除相应的packet。
  6. 如果传输过程中， 有某个datanode出现了故障， 那么当前的pipeline会被关闭， 出现故障的datanode会从当前的pipeline中移除， 剩余的block会继续剩下的datanode中继续以pipeline的形式传输， 同时Namenode会分配一个新的datanode， 保持replications设定的数量。
  7. 客户端完成数据的写入后， 会对数据流调用close()方法， 关闭数据流；
  8. 只要写入了dfs.replication.min的副本数（ 默认为1），写操作就会成功， 并且这个块可以在集群中异步复制， 直到达到其目标复本数（replication的默认值为3），因为namenode已经知道文件由哪些块组成， 所以它在返回成功前只需要等待数据块进行最小量的复制。

读数据流程

  1. 使用HDFS提供的客户端Client， 向远程的Namenode发起RPC请求；
  2. Namenode会视情况返回文件的部分或者全部block列表， 对于每个block， Namenode都会返回有该block拷贝的DataNode地址；
  3. 客户端Client会选取离客户端最近的DataNode来读取block； 如果客户端本身就是DataNode， 那么将从本地直接获取数据；
  4. 读取完当前block的数据后， 关闭当前的DataNode链接， 并为读取下一个block寻找最佳的DataNode；
  5. 当读完列表block后， 且文件读取还没有结束， 客户端会继续向Namenode获取下一批的block列表；
  6. 读取完一个block都会进行checksum验证， 如果读取datanode时出现错误， 客户端会通知Namenode， 然后再从下一个拥有该block拷贝的datanode继续读。
    从上面的流程我们可以更清晰地理解HDFS各个组件的作用：namenode负责管理，不接触数据，datanode负责存储数据，在写数据时，每份数据复制多个副本以pipeline的方式在datanode中流动。读数据时，namenaode的作用只是提供datanode的信息，又客户端自己从datanode读取。
    可以看出，HDFS的一个特点是，适合一次写入多次存取的场景。

另外还有一个小知识点，在实际应用中存储数据时，数据的第一份副本存放在离客户端最近的一台主机上，第二份副本存放在与第一台主机不同机架的主机上，第三个副本存放在与上一个副本同一个机架的不同主机上。这样也是保证了HDFS的高容错性。

YARN和MapReduce

放到一块，是因为YARN可以说是为了弥补MRv1的缺陷而诞生的

1.什么是MapReduce

Hadoop的MapReduce是对google三大论文的MapReduce的开源实现，实际上是一种编程模型，是一个分布式的计算框架，用于处理海量数据的运算。

2.MapReduce的流程

MapReduce主要由下面几个过程组成，理解了这几个过程，基本上就可以理解MapReduce了

  1. input：就是输入数据，在编程中会有Textformat方法专门处理输入。
  2. splitting：将数据分片，一般来说这个片和HDFS的分块大小是一致的，默认为128M，但是这个大小也可以调节。（https://blog.csdn.net/dr_guo/article/details/51150278这篇博客对分片理解的很到位，可以看一下）。
  3. record reader：record reader通过输入格式将输入split解析成记录。record reader的目的只是将输入数据解析成记录，但不负责解析记录本身。它将数据转化为键/值（key/value）对的形式，并传递给mapper处理。通常键是数据在文件中的位置，值是组成记录的数据块。以图片中的程序（其实也就是wordcount）为例，spliting将输入文本以行为单位分片，record reader把分片结果转化为为多个以行偏移量为key，对应内容为value的key/value对，将这些key/value对作为参数输入到mapping中
  4. mapping：处理record reader解析的每个键/值对来产生0个或多个新的key/value对结果。key/value的选择对MapReduce作业的完成效率来说非常重要。key是数据在reducer中处理时被分组的依据，value是reducer需要分析的数。上图程序中，将输入的value进行解析，产生多个以单词为key，单词数量（其实也就是1）为value的新key/value对，并输出。
  5. shuffing：
    数据从map中出来到进入reduce之前称为shuffle阶段，shuffle的处理任务：将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排序；

  • maptask收集我们的map()方法输出的k、v对，放到内存缓冲区中

  • 从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件

  • 多个溢出文件会被合并成大的溢出文件

  • 在溢出过程中，及合并的过程中，都要调用partitoner进行分组和针对key进行排序

  • reducetask根据自己的分区号，去各个maptask机器上取相应的结果分区数据

  • reducetask会取到同一个分区的来自不同maptask的结果文件，reducetask会将这些文件再进行合并（归并排序）

  • 合并成大文件后，shuffle的过程也就结束了，后面进入reducetask的逻辑运算过程（从文件中取出一个一个的键值对group，调用用户自定义的reduce()方法）

  • 备注：Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快。缓冲区的大小可以通过参数调整, 参数：io.sort.mb 默认100M

  1. reduce：reduce阶段是一个归约过程，实现单词的计数。最后，得到整个文档的词频统计。

MR过程中的数据流向：一个文件在HDFS中是分布存储在不同节点的block中，每一个block对应一个Mapper，每一条数据以K,V的形式进入一个map()方法，map()方法中对数据进行处理（数据筛选，业务逻辑以及分区），再将处理结果以K,V的形式写入环形缓冲区，一个Mapper对应一个context，context对写入的数据按key进行聚合、排序、归约。context的大小默认为100M，当context容量达到80%或Mapper处理结束时，context会向外溢出，形成许多小文件，小文件为一个K和许多V的集合。处理完成后，这些文件会发送到Reducer所在节点，在该节点的context中，会对不同节点发送过来的数据按key进行再一次的聚合、排序和归约，最后进入Reducer，在reduce方法中对同一个<key,value集合>进行处理（业务逻辑），然后按照分区写入文件。

3.MapReduce1.x的架构

MapReduce的架构模式分为两个阶段，MR1.x和MR2.x时期
MapReduce采用Master/Slave架构，1个JobTracker带多个TaskTracker
1）JobTracker: JT

  • 作业的管理者 管理的
  • 将作业分解成一堆的任务：Task（MapTask和ReduceTask）
  • 将任务分派给TaskTracker运行
  • 作业的监控、容错处理（task作业挂了，重启task的机制）
  • 在一定的时间间隔内，JT没有收到TT的心跳信息，TT可能是挂了，TT上运行的任务会被指派到其他TT上去执行

2）TaskTracker: TT

  • 任务的执行者 干活的
  • 在TT上执行我们的Task（MapTask和ReduceTask）
  • 会与JT进行交互：执行/启动/停止作业，发送心跳信息给JT

3）MapTask

  • 自己开发的map任务交由该Task处理
  • 解析每条记录的数据，交给自己的map方法处理
  • 将map的输出结果写到本地磁盘（有些作业只仅有map没有reduce==>HDFS）

4）ReduceTask

  • 将Map Task输出的数据进行读取
  • 按照数据进行分组传给我们自己编写的reduce方法处理
  • 输出结果写到HDFS
  • 可以看出来，这种架构模式有很大的缺陷：
  • 只有一个JobTracker，容易出现单点故障
  • JobTracker同时负责资源管理和作业调度，节点的工作压力巨大
  • 可扩展性差
    出现了缺陷，就该寻找解决的办法，这时候，我们的YARN就闪亮登场了

4.什么是YARN

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。通过YARN，不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度。

5.YARN的基本架构

1）ResourceManager: RM

  • 整个集群同一时间提供服务的RM只有一个，负责集群资源的统一管理和调度
  • 处理客户端的请求： 提交一个作业、杀死一个作业
  • 监控我们的NM，一旦某个NM挂了，那么该NM上运行的任务需要告诉我们的AM来如何进行处理

2）NodeManager: NM

  • 整个集群中有多个，负责自己本身节点资源管理和使用
  • 定时向RM汇报本节点的资源使用情况
  • 接收并处理来自RM的各种命令：启动Container
  • 处理来自AM的命令
  • 单个节点的资源管理

3） ApplicationMaster: AM

  • 每个应用程序对应一个：MR、Spark，负责应用程序的管理
  • 为应用程序向RM申请资源（core、memory），分配给内部task
  • 需要与NM通信：启动/停止task，task是运行在container里面，AM也是运行在container里面

4）Container

  • 封装了CPU、Memory等资源的一个容器
  • 是一个任务运行环境的抽象

5） Client

  • 提交作业
  • 查询作业的运行进度
  • 杀死作业

6.YARN的工作流程

  1. 用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster命令、用户程序等
  2. resourceManager为该应用程序分配第一个container，并与对应的nodeManager通信，要求它在这个container中启动应用程序的ApplicationMaster
  3. ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManager查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复4~7
  4. ApplicationMaster采用轮询的方式通过RPC协议向resourceManager申请和领取资源
  5. 一旦ApplicationMaster申请到资源后，便与对应的Nodemanager通信，要求它启动任务。
  6. NodeManager为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务
  7. 各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在应用程序运行过程中，用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态
  8. 应用程序运行完成后，ApplicationMaster向resourceManager注销并关闭自己

7.MapReduce2.x的架构

YARN将MapReduce1.x中的JobTracker拆分为两部分：ResourceManager和Applicationaster。大大减轻了ResourceManager上的资源消耗与负担，下面三MR2.x的架构图。

上一篇：hdfs 的 dataNode 启动卡死的排错过程


下一篇：hadoop之hdfs、yarn、MR相关总结