一、楔子
社区的力量是巨大的,开源的诱惑也 是魅力无穷,靠忽悠无法长久的云计算已是昨日黄花,IT新贵的发力点聚焦大数据,言必称大数据,语必谈数据黄金,更有甚者,高唱2013是大数据元 年,2014必将是大数据爆发的一年。而企业也已躁动不安,纷纷举旗遥相呐喊:“大数据我来了”。在此给这些企业泼盆冷水,降降温度。让大数据回归理性。
二、追本溯源-我们为什么需要大数据
基于开源平台发展起来的大数据技术,其发展的原动力来源于企业面临的瓶颈,这些瓶颈包括三个大的方面。
1.技术方面:
技术方面传统的关系型数据库无法存储海量增长的历史交易信息,无法快速响应实时查询需求,其实不是不能存,而是模式本身给业务带来了不便。
2.成本方面
成本方面遭遇到IT巨无霸的绑架,高性能的计算能力、存储能力是以$为代价的,一方面硬件采购成本无法无天,升级维护费用连绵不绝;另一方面在此之上的操作系统、数据库系统以及应用软件等都是价值不菲,成了企业不可承受之重;而以上两点只是开始,并非结束,最可怕的东西到不在于此,而在于其一旦应用就无法替代,这才是真正致命的地方。
也因为此成就IT时代的一个又一个巨无霸们。企业的决策者们都不是*,至少不会像你想象中的那么傻。所以才有了对开源的热切,才有了大数据技术的机会。
3.业务创新
锐意创新的人总是有的,而且总是走在时代的前列,利用大数据技术能否产生新的价值呢,能否带来业务上的创新呢?我们不要以功利之心去揣测别人,即使有,我也认为这些人是最可爱的,向这些人致敬。
三、成本优势-帐不是这么算的
成本方面大数据技术真的就有那么大优势吗?X86 PC Server比IBM小机便宜,*都能算出来的计算题你有什么质疑吗?其实也不尽然,大数据技术的新颖性和技术发展的不成熟,带来人力成本基本上可以直接干掉硬件成本的节约。但是如果综合起来,从直接成本和间接成本两个角度去看问题的时候,大数据的成本优势就能够体现出来了。如果再加上发展的观点、企业战略的观点看大数据,那么其成本优势则是完胜。
四、技术优势-有所为,有所不为
以己之长,攻彼之弱,无坚不摧;以己之短,攻彼之坚,自取其辱;
大数据技术有其自身适用领域、技术特点,同样因为其架构模式和设计原理,导致其有自身的缺陷:一方面源于自身的技术瓶颈,另一方面却是基于社区发展的约 束。大数据技术适用于互联网行业,其已经在发展过程中做过多次技术迭代和调整,其海量数据存储优势和并行计算能力已经得到验证,其数据质量控制观念也已经 形成,数据应用以数据总量体现方向和趋势,单点数据的缺失无举足轻重。而这种观点却不一定就适用传统行业,比如银行业务,你能用HBase去处理实时事务 性交易吗?言必称去IOE,只是一种战略,选个矮子比个头,就是高过去,你也没什么面子,所以去IOE,是有前提的,有些领域你还真去不了;其次,你如果 丢失了一条存取款数据,就会导致账务不平,恰好客户打印了自己的存单,钱去了何处?银行是需要给个说法的。基于此并不能说明大数据就不能应用到银行业务, 而是我们对待数据的严谨性,数据质量控制的观点必须转变,而不能继续以互联网思维模式去看待大数据在传统行业的应用,否则必然会在谩骂声中,灰溜溜的滚 蛋。
四、大数据演进路线图-业务驱动、稳扎稳打
大数据在传统行业的实施不可一蹴而就,以存储为基础,做好数据治理和质量控制,逐步实施。立足当下,放眼未来,才是正道。下面是我所总结的一张大数据演进路线图: