胖子哥的大数据之路(二)- 大数据结构化数据存储应用模式

一、楔子

  胖子哥是我网名,叫了很多年的网名,网名的来历与自己的沧桑和身材有关,不知是IT改变了我,显得苍老,还是我本就苍老,顺应了IT行业的需要。25岁那年,曾被跟我一样高的漂亮美眉叫叔叔,从此再也不敢打小姑娘的注意,走上了重口味热爱阿姨级别女性的不归路;曾被三十五、六岁的同事阿姨说苍老:看你也就三十五六吧,那年我25;周一的时候,还有一个60后的同事问及我的年龄,他很含蓄的,明显带着保留的口吻问我:你是75年的吧?因为他一直认为和我一般大。然后...然后泪奔。关于体型方面也是个悲剧、三围相等,体重大于身高的角色,算是已经胖出了一定层次,每次听到别人叫我胖子,就感觉小小的自尊多少受到了伤害,然后就给自己在后面加了一个哥子,算是给自己遮半张脸吧。闲话就聊到这里,还是继续胖子哥的大数据之路吧,这次要谈的还是数据仓库。

二、实时查询数据库-HDFS&HBase

  传统关系型数据库基于存储模式的问题带来的存储和访问瓶颈,是无法靠自身解决的,也就有了基于Big-Table型的NoSQL数据库用武之地,比较典型技术组合就是HDFS+HBase,利用HDFS的分布式、高可用数据存储,结合HBase面向列的数据存储模型,从而解决大数据量存储的问题;结合HBase基于Rowkey自然序的存储,从而实现海量数据快速查询。当然这种模式只适用于结构型数据,而且只适用于历史数据查询,而不适用于事务型业务的处理,从而产生了大数据在结构化数据存储方面的第一种模式:实时查询数据库;

三、大数据仓库-HDFS&Hive

  基于关系型数据库的数据仓库,同样面临数据存储规模的问题,因此在银行业务中,同样也只能存储短期的数据,其目标在在于支持基于业务年度的报表统计和业务分析,而对于超过一定期限的数据仍然在走数据磁盘或磁带存储的模式。基于大数据技术体系,采用HDFS+Hive的模式,构建大数据仓库,则可以很轻松的解决数据大基数存储的问题。从而产生了大数据在结构化数据数据存储方面的第二种模式:大数据仓库;

四、替换还是互补-大家来回答,期待你的答案

  问题一

  实时查询数据库能否替换实时操作数据库吗?

  问题二

  大数据仓库可以替代数据仓库吗?

五、关于大数据题外话  

  曾经就干货与湿货的问题,与人发生过争辩,还是不淡定了。其实对于一个口渴的人,水就是干货,同样,对于一个迷路的人,指南针就是干货。见仁见智的事,不再做争辩。重在分享,送给大数据传统企业应用实施的探路者们,送给需要的人,立此存照。

  持续更新中,未完待续。。。。

  下期预告:大数据仓库项目的需求分析该如何去做。敬请期待。

 


作者:张子良
出处:http://www.cnblogs.com/hadoopdev
本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

上一篇:算法学习之路|打印排名


下一篇:Wireshark数据抓包分析之传输层协议(TCP协议)