1.HDFS是什么?
Hadoop分布式文件系统(HDFS),被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。
2.HDFS中的基本概念
(1)块(block)
" 块 " 是固定大小的存储单元,HDFS的文件被分成块进行存储,HDFS的块默认大小是64MB。文件传递过来之后,HDFS会把文件拆分成块进行管理," 块"就是文件存储处理的逻辑单元。
(2)HDFS有两类节点: NameNode 和 DataNode
• NameNode是HDFS的管理节点,存放文件元数据。
这里的元数据包括两个部分:
--->1.文件与数据块的映射表
--->2.数据块与数据节点的映射表
• DateNode是HDFS的工作节点,存放数据块。
3.HDFS体系结构:
客户想要访问数据,会先发请求给NameNode查询元数据。通过读取返回结果,知道文件存放在哪些节点上。于是到这些节点去拿数据库,下载完数据块之后,在组装拼装成完整的数据,也就是我们想要的文件。