浅析HBase架构和系统结构介绍(二)

2 HBase架构

 浅析HBase架构和系统结构介绍(二)

                                                                     HBase系统架构图(注意,每个HRegsionServer维护一个HLog文件)


 

2.1客户端(client)

HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信,对于管理类操作,Client与HMaster进行RPC;对于数据读写类操作,Client与HRegionServer进行RPC。

2.2 Zookeeper

ZookeeperQuorum中存储的信息包括:

  • 存储-ROOT-表的地址:/hbase/root-region-server
  • 存储HMaster的地址:/hbase/master
  • 存储所有HRegionServer的状态,HRegionServer会把自己以短暂的(Ephemeral)方式注册到 Zookeeper中:/hbase/rs

2.3 HMaster

    HMaster没有单点问题,HBase中可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个HMaster运行,HMaster在功能上主要负责table和region的管理工作:

  • 管理用户对table的增、删、改、查操作
  • 管理HRegionServer的负载均衡,调整region分布
  • 在region split后,负责新region的分配
  • 在HRegionServer停机后,负责失效HRegionServer上的region迁移
  • HDFS的垃圾文件回收
  • 处理schema更新请求

注意:Client访问HBase上数据的过程并不需要HMaster参与(寻址访问Zookeeper和HRegionServer,数据读写访问HRegioneServer),HMaster仅仅维护者table和region的元数据信息,负载很低。

 

2.4 HRegionServer

HRegionServer维护HMaster分配给它的region,并负责响应用户I/O请求,向HDFS文件系统中读写数据,是HBase中最核心的模块。

浅析HBase架构和系统结构介绍(二)

     HRegionServer内部管理了一系列HRegion对象,每个HRegion对应了table中的一个region,HRegion中由多 个HStore组成。每个HStore对应了Table中的一个column family的存储,可以看出每个columnfamily其实就是一个集中的存储单元,因此最好将具备共同IO特性的column放在一个column family中,这样最高效。

HStore存储是HBase存储的核心,由两部分组成,一部分是MemStore,一部分是StoreFile。MemStore是 Sorted Memory Buffer,用户写入的数据首先会放入MemStore,当MemStore满了以后会Flush成一个StoreFile(底层实现是HFile)。


浅析HBase架构和系统结构介绍(二)

上一篇:浅析HBase架构和系统结构介绍(五)


下一篇:FFMpeg处理RTMP流的总结