HDFS 读数据流程| 学习笔记

2022-03-17 13:09:22

开发者学堂课程【Hadoop 分布式文件系统 HDFS：HDFS 读数据流程】学习笔记，与课程紧密联系，让用户快速学习知识。

内容介绍：

一、HDFS 读数据流程

HDFS 的读数据流程，如图3-13所示。

HDFS 读数据流程| 学习笔记

右侧是个集群，三个 DataNode 和一个 NameNode，NameNode 中所存的是元数据，两块的三个副本。

左侧是客户端，它读取集群下的元数据，在此之前，它会先创建一个fs对象操作集群来访问数据。

然后返回目标文件的元数据，安排 avi 去读取节点，命令之后它回创建相应的输入流，（因为右侧 DataNode 中是元数据）读取数据还是依照上节讲的最近原则。

读取完后，它再将其拼接在一起，形成真真的数据流。

1. 请求下载文件/user/atguigu/ss.avi

2. 返回目标文件的元数据

3. 请求读数据blk_1

4. 传输数据

5. 请求读数据blk_2

6. 传输数据

码农公寓