【DB】HBase的基本概念

一 Hbase是个啥东东? 

在说Hase是个啥家伙之前,首先我们来看看两个概念。面向行存储和面向列存储。面向行存储。我相信大伙儿应该都清楚,我们熟悉的RDBMS就是此种类型的。面向行存储的数据库主要适合于事务性要求严格场合,或者说面向行存储的存储系统适合OLTP。可是依据CAP理论,传统的RDBMS。为了实现强一致性,通过严格的ACID事务来进行同步,这就造成了系统的可用性和伸缩性方面大大折扣。而眼下的非常多NoSQL产品,包含Hbase,它们都是一种终于一致性的系统,它们为了高的可用性牺牲了一部分的一致性。好像。我上面说了面向列存储,那么究竟什么是面向列存储呢?Hbase,Casandra,Bigtable都属于面向列存储的分布式存储系统。

看到这里,假设您不明确Hbase是个啥东东,不要紧,我再总结一下下:



Hbase是一个面向列存储的分布式存储系统。它的长处在于能够实现高性能的并发读写操作,同一时候Hbase还会对数据进行透明的切分,这样就使得存储本身具有了水平伸缩性





二 Hbase数据模型 

HBase,Cassandra的数据模型很类似。他们的思想都是来源于Google的Bigtable,因此这三者的数据模型很类似,唯一不同的就是Cassandra具有Super cloumn family的概念,而Hbase眼下我没发现。好了。废话少说。我们来看看Hbase的数据模型究竟是个啥东东。



在Hbase里面有以下两个基本的概念,Row key,Column Family。我们首先来看看Column family,Column family中文又名“列族”,Column family是在系统启动之前预先定义好的,每个Column Family都能够依据“限定符”有多个column.以下我们来举个样例就会很的清晰了。



假如系统中有一个User表。假设依照传统的RDBMS的话。User表中的列是固定的,比方schema 定义了name,age,sex等属性。User的属性是不能动态添加的。可是假设採用列存储系统。比方Hbase。那么我们能够定义User表,然后定义info 列族。User的数据能够分为:info:name = zhangsan,info:age=30,info:sex=male等。假设后来你又想添加另外的属性。这样非常方便仅仅须要info:newProperty就能够了。



或许前面的这个样例还不够清晰,我们再举个样例来解释一下。熟悉SNS的朋友,应该都知道有好友Feed,一般设计Feed,我们都是依照“某人在某时做了标题为某某的事情”,可是同一时候一般我们也会预留一下keyword,比方有时候feed或许须要url,feed须要image属性等,这样来说。feed本身的属性是不确定的。因此假设採用传统的关系数据库将很麻烦。况且关系数据库会造成一些为null的单元浪费,而列存储就不会出现这个问题。在Hbase里,假设每个column 单元没有值,那么是占用空间的。

以下我们通过两张图来形象的表示这样的关系:

id=10413&oid=23127383" target="_blank" style="text-decoration:none; color:rgb(102,102,102); font-weight:lighter">【DB】HBase的基本概念

上图是传统的RDBMS设计的Feed表,我们能够看出feed有多少列是固定的,不能添加,而且为null的列浪费了空间。

可是我们再看看下图。下图为Hbase,Cassandra,Bigtable的数据模型图,从下图能够看出,Feed表的列能够动态的添加。而且为空的列是不存储的,这就大大节约了空间,关键是Feed这东西随着系统的执行。各种各样的Feed会出现,我们事先没办法预測有多少种Feed,那么我们也就没有办法确定Feed表有多少列,因此Hbase,Cassandra,Bigtable的基于列存储的数据模型就很适合此场景。讲到这里,採用Hbase的这种方式。另一个很重要的优点就是Feed会自己主动切分。当Feed表中的数据超过某一个阀值以后。Hbase会自己主动为我们切分数据,这种话,查询就具有了伸缩性。而再加上Hbase的弱事务性的特性,对Hbase的写入操作也将变得很快。

【DB】HBase的基本概念

id=10414&oid=23127383" border="0" alt="" style="border:0px">

上面说了Column family。那么我之前说的Row key是啥东东,事实上你能够理解row key为RDBMS中的某一个行的主键。可是由于Hbase不支持条件查询以及Order by等查询,因此Row key的设计就要依据你系统的查询需求来设计了额。我还拿刚才那个Feed的列子来说,我们通常是查询某个人最新的一些Feed,因此我们Feed的Row key能够有下面三个部分构成<userId><timestamp><feedId>,这样以来当我们要查询某个人的最进的Feed就能够指定Start Rowkey为<userId><0><0>。End
Rowkey为<userId><Long.MAX_VALUE><Long.MAX_VALUE>来查询了,同一时候由于Hbase中的记录是依照rowkey来排序的,这样就使得查询变得很快。





三 Hbase的优缺点 

1 列的能够动态添加,而且列为空就不存储数据,节省存储空间.



2 Hbase自己主动切分数据。使得数据存储自己主动具有水平scalability.



3 Hbase能够提供高并发读写操作的支持



Hbase的缺点:



1 不能支持条件查询。仅仅支持依照Row key来查询.



2 临时不能支持Master server的故障切换,当Master宕机后,整个存储系统就会挂掉.







关于数据库伸缩性的一点资料:

http://www.jurriaanpersyn.com/archives/2009/02/12/database-sharding-at-netlog-with-mysql-and-php/



http://adam.blog.heroku.com/past/2009/7/6/sql_databases_dont_scale/

上一篇:使用ICSharpZipLib将文件夹压缩为zip文件


下一篇:01迷宫 洛谷 p1141