大数据笔记04:大数据之Hadoop的HDFS(基本概念)

1.HDFS是什么?

Hadoop分布式文件系统(HDFS),被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。

2.HDFS中的基本概念

(1)块(block)

    " 块 " 是固定大小的存储单元,HDFS的文件被分成块进行存储,HDFS的块默认大小是64MB。文件传递过来之后,HDFS会把文件拆分成块进行管理," 块"就是文件存储处理的逻辑单元。

(2)HDFS有两类节点: NameNode 和 DataNode

 • NameNode是HDFS的管理节点,存放文件元数据。

这里的元数据包括两个部分:

  --->1.文件与数据块的映射表

  --->2.数据块与数据节点的映射表

• DateNode是HDFS的工作节点,存放数据块。

3.HDFS体系结构:

大数据笔记04:大数据之Hadoop的HDFS(基本概念)

客户想要访问数据,会先发请求给NameNode查询元数据。通过读取返回结果,知道文件存放在哪些节点上。于是到这些节点去拿数据库,下载完数据块之后,在组装拼装成完整的数据,也就是我们想要的文件。

上一篇:C# 数组中的 indexOf 方法


下一篇:linux分享六:nohup与&,守护进程