文章目录
- 1. HDFS的读写流程
- 1.1 HDFS读流程
- 1.2 HDFS写流程
- 2. MapReduce计算流程
- 3. Yarn资源调度
- 一、客户端请求资源
- 二、Resource Manager处理请求
- 三、任务资源计算与申请
- 四、Resource Manager分配资源
- 五、Node Manager执行任务
- 六、任务执行与监控
1. HDFS的读写流程
1.1 HDFS读流程
- 客户端首先向Namenode发送读取请求,询问要读取的文件存储在哪些数据节点上。
- Namenode会根据机架感知原理、网络拓扑关系、副本机制等返回部分或者全部的block所在的Datanode的地址。
- 客户端根据Namenode返回的地址,选择一个距离最近的Datanode节点来读取第一个数据块。客户端直接与该数据节点建立连接,并发送读取请求。
- Datanode接收到读取请求后,开始从磁盘上读取相应的数据块,并将数据通过网络传输给客户端。
- 客户端在接收数据的同时,会对数据进行校验,以确保数据的完整性。如果发现数据损坏,客户端可以向其他包含该数据块副本的数据节点请求重新读取。
- 当客户端读取完一个Datanode后,会根据Namenode提供的块位置信息,选择下一个数据节点来读取下一个数据块。重复上述步骤,直到客户端读取完整个文件。
1.2 HDFS写流程
- 客户端向Namenode发送写入请求。
- Namenode接收到写入请求后,首先判断当前这个操作的用户是否具有写入权限,如果不具备写入权限会直接报错;如果有写入权限,再进行判断在写入的目录下是否存在这个文件;如果要写入的目录下已经存在这个文件,会直接报错;如果要写入的目录下不存在这个文件,通知客户端可以写入。
- 客户端对文件进行切分操作,形成block块。
- 客户端请求第一个block块存储在哪些地方。
- Namenode根据机架感知原理、拓扑关系、副本机制等,找到相应的可以上传的Datanode的连接列表,返回给客户端。
- 客户端从接受的Datanode列表中选择第一台建立连接,当连接第一台Datanode以后,让第一台Datanode与第二台Datanode连接,然后第二台Datanode与第三台Datanode连接形成一条pipeline(管道)。
- 客户端通过数据包的形式发送数据。当第一台Datanode接收到数据后,将数据发送给第二台Datanode,第二台接收完,再将数据发送给第三台。当最后一个Datanode接受请求后建立一个反向的应答队列。当每个节点都将数据包接收到以后,反向给予应答响应(ack确认机制)。
2. MapReduce计算流程
MR天龙八部
3. Yarn资源调度
YARN(Yet Another Resource Negotiator)
是Hadoop的资源管理系统,其资源调度机制如下:
一、客户端请求资源
-
提交任务请求
- 客户端首先将任务提交给Resource Manager。
二、Resource Manager处理请求
-
接收任务请求
- Resource Manager接收到客户端的任务请求。
-
选择Node Manager
- Resource Manager在Node Manager上寻找一个比较空闲的节点。
- 通知并启动一个Application Master,将任务信息发送给Application Master,等待Application Master启动成功。
- 如果启动失败,认为当前任务直接报错,告知任务无法执行。
-
获取任务相关信息
- Application Master启动后,开始和主节点保持心跳机制,获取任务相关的信息(如JAR包路径、主类、参数)。
三、任务资源计算与申请
-
计算任务数量
- 根据任务信息,计算共需要多少Map Task和多少Reduce Task。
-
发送资源请求
- 通过心跳包,将任务计算的结果资源需求发送给主节点,进行资源的申请。
四、Resource Manager分配资源
-
资源分配工作
- 根据收到的资源申请的结果信息,进行资源的分配工作。
- 如果资源比较宽松,一次性将所需的所有资源一并全返回。
- 如果资源比较紧张,最起码应该返回所有Map Task所需资源。
五、Node Manager执行任务
-
获取资源信息
- Application Master通过心跳包,一直询问是否已经准备好资源,一旦准备好,将资源信息全部获取。
-
通知Node Manager
- 根据获取的资源信息,通知各个Node Manager,启动相关的程序(先启动Map Task),告知Node Manager任务信息(如JAR包路径、主类、参数)。
六、任务执行与监控
-
执行任务进度监控
- 每一个运行的container定时和Application Master汇总执行任务执行的进度。
- 并且还基于Node Manager和Resource Manager的使用情况,报告资源的使用情况。
- 如果初始化的时候,只是返回Map Task运行的资源。
- 当Map Task执行完成后,或者执行过程中,Application Master向Resource Manager/Node Manager询问Reduce Task的资源是否已经准备好了,如果准备好了,就进行Reduce任务。
-
任务完成报告
- 当整个Map Task和Reduce Task都运行完成后,通知Application Master已经完成执行任务了。
-
资源回收
- Resource Manager收回所有分配的资源,然后通知Application Master可以执行自毁程序了。
这种资源调度机制确保了在YARN集群中,任务能够高效地获取和利用资源,同时也保证了资源的合理分配和管理。