1.浅析Hadoop之HDFS

HDFS ,Hadoop Distribute File System,hadoop分布式文件系统。

主从架构,分主节点NameNode,从节点DataNode.当然还有个SecondaryName,但这不是浅析里的点.这里主要讲下namenode和datanode的基本概念,

并描述下读写过程.

  NameNode中存储的主要是文件的元数据,比如文件名,文件的位置路径,文件的大小 ,文件的块信息,文件的副本数

  DataNode是真正存储文件的地方,文件以block[hadoop2.x版本一个block的默认大小是128MB,加入你上传200MB,那将需要两个Block]块的形式存储,而且默认有3个副本分别默认的放在同一个机架上的不同机器

和不同机架上的机器,Datanode 以数据块作为容错单位 通常一个数据块会备份到三个 datanode 上,如果一个

datanode 出错,则会去其他备份数据块(就近原则同一个机架上的机器,没有再去其他机架上)的 datanode 上读取,并且会把这个 datanode上的数据块再复制一份 以达到备份的效果!

  读的过程就是客户端向NameNode获取要读取文件的位置等需要的信息,然后再去对应的datanode上读数据,

  写的过程就是Client 向 NameNode 发起文件写入的请求。NameNode 根据文件大小和文件块配置情况,返回给 Client 它所管理部分 DataNode的信息。
Client 将文件划分为多个 Block,根据 DataNode 的地址信息,按顺序写入到每一个DataNode 块中

上一篇:ubuntu配置bridge网桥


下一篇:误删docker0网桥之后怎么办呢?