大数据处理系统面临挑战

        当今,大数据的到来,已经成为现实生活中无法逃避的挑战。每当我们要做出决策的时候,大数据就无处不在。大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和*带来的巨大机遇。与此同时,大数据也向参与的各方提出了巨大的挑战。那么主要挑战表现在以下三点。

1.如何利用信息技术等手段处理非结构化和半结构化数据

         大数据中,结构化数据只占15%左右,其余的85%都是非结构化的数据,它们大量存在于社交网络、互联网和电子商务等领域。另一方面,也许有90%的数据来自开源数据,其余的被存储在数据库中。大数据的不确定性表现在高维、多变和强随机性等方面。股票交易数据流是不确定性大数据的一个典型例子。

2.如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模

         这一问题的突破是实现大数据知识发现的前提和关键。从长远角度来看,依照大数据的个性复杂性和随机性所带来的挑战将促使大数据数学结构的形成,从而促使大数据统一理论日趋完备。从短期而言,学术界鼓励发展一种一般性的结构化数据和半结构化、非结构化数据之间的转换原则,以支持大数据的交叉工业应用。管理科学,尤其是基于最优化的理论将在大数据知识发现的一般性方法和规律性的研究中发挥重要的作用。

3.数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响

        由于大数据本身的复杂性,这一问题无疑是一个重要的科研课题,对传统的数据挖掘理论和技术提出了新的挑战。在大数据环境下,管理决策面临着两个”异构性“问题:”数据异构性“和”决策异构性“。传统的管理决策模式取决于对业务知识的学习和日益积累的实践经验,而管理决策又是以数据分析为基础的。

        大数据是一种具有隐藏法则的人造自然,寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究,尽管这样的探索十分困难,但是如果我们找到了将非结构化、半结构化数据转换成结构化数据的方法,已知的数据挖掘方法将成为大数据挖掘的工具。 

上一篇:【分布式系统管理框架】Zookeeper集群


下一篇:MMGPL: 多模态医学数据分析与图提示学习| 文献速递-基于深度学习的多模态数据分析与生存分析