Hadoop 的存储系统是 HDFS(Hadoop Distributed File System)分布式文件系统,对外部客户端而言,HDFS 就像一个传统的分级文件系统,可以进行创建、删除、移动或重命名文件或文件夹等操作,与 Linux 文件系统类似。
Client客户端 文件切片,文件上传的时候,Client对上传的文件进行切片成一个一个block,然后进行存储 与namenode交互,获取文件位置信息 与datanode交互,读取或写入数据 Client 提供一些命令来管理 和访问HDFS,比如启动或者关闭HDFS。 namenode 管理HDFS的名称空间 管理数据块的映射信息 处理副本策略 处理客户端的请求 作用: 1:namenode的元数据信息(文件名,目录,属性,每个文件的块列表) 2:namenode文件操作 namenode负责文件元数据的操作 3:namenode副本机制 文件的副本具体放在哪些datanode上是由namenode决定的 4:namenode心跳机制 全权管理数据块的复制,周期性的接受心跳和块状态报告信息,每十分钟发送一次如果超过这个时间没有接受到请求会认为datanode已近宕机,会把数据块重新复制,块状态的报告包含所有数据块的列表每一小时发送一次 datanode 存储实际的数据块 执行数据块的读/写操作 作用: 1:datanode以数据块的方式存储HDFS 2:datanode响应hdfs客户端的读写请求 3:datanode周期向namenode发送心跳请求 4:datanode周期向namenode汇报数据块信息 5:datanode周期性向namenode汇报缓存数据块信息 seconddaynamenode 辅助namenode,分担其工作量 定期合并fsimage和fsedits,并推送给namenode 紧急情况可以恢复namenode 文件的副本机制 一个文件有可能大于集群中的任意一块磁盘,引入块机制,可以很好地解决这个问题 使用块作为文件存储的逻辑单位可以很好的简化存储系统 块非常适用于数据备份从而提供数据的容错能力 机架感知 分布式文件存储系统内部有一个副本存放的策略 第一个副本块存本机 第二个副本快存同机架的其它服务器 第三个副本快存放不同机架的服务器相关文章
- 02-11数据挖掘领域十大经典算法之—AdaBoost算法(超详细附代码)
- 02-11大数据之Hadoop(MapReduce): shuffle之Combiner合并
- 02-11大数据python词频统计之hdfs分发-cacheFile
- 02-11在Hadoop环境中,大数据存储的技巧有哪些?
- 02-11华科大考研计算机系834大纲之数据结构(四)
- 02-11HDFS源码分析数据块校验之DataBlockScanner
- 02-11大数据入门学习之Hadoop技术优缺点
- 02-11好程序员大数据入门学习之Hadoop技术优缺点
- 02-11好程序员大数据教程分享之Hadoop优缺点
- 02-11hadoop学习之HDFS原理