本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第1章，第1.1节，作者 张良均 樊哲 位文超 刘名军 许国杰 周龙 焦正升，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第一篇

基　础　篇

第1章

浅谈大数据

当你早上起床，拿起牙刷刷牙，你是否会想到从拿起牙刷到刷完牙的整个过程中有多少细胞参与其中？这些细胞在参与的过程中会结合周围环境（可能是宏观的天气、温度、气压等，可能是微观的分子、空气中的微生物等），由你的意识控制而产生不同的反映。如果我说结合这些所有的信息，可以预测你接下来的0.000 000 01秒的动作，那么，你肯定说，这我也可以预测呀。比如正常情况下，你脚抬起来走路，那么抬起来后，肯定是要落下去的，这算哪门子预测呢？那如果我说可以预测你接下来一个小时的动作呢？甚至一天，一个月，一年呢？其实这也可以勉强说是一个大数据案例了。

听起来有点夸张？

说个大家熟悉的大数据吧。相信很多人都买过股票（或者至少知道买股票这件事情），如果有人可以整合所有信息（包含基本的股票信息：股票涨跌；公司情况：如公司大小、业务等；政策情况：可能*突然颁布了一个红头文件等），首先肯定这些信息可以被认为是“大数据”，其次对这些“大数据”进行分析建模，如果可以预测股票的涨跌，那么这就是一个实实在在的大数据案例了。

再说一个电影桥段：“赌神”一般都可以预测摇色子的点数或者说摇色子摇到的最大点数，那么在现实情况中，这个可能实现吗？试想这样一个场景：一个人不停地摇色子，然后把摇色子的声音以及最后的点数记录下来，不停地摇，不停地记录，那么就会形成一个巨大的数据集，从而可以使用这个巨大的数据集进行建模，即可以预测色子的点数了。你也可以将这个理解为一个大数据的应用。

现在，你是否已经有点懂“大数据”了？

1.1　大数据概述

来看看所谓官网定义的大数据：大数据（Big data）或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工或者计算机，在合理的时间内达到截取、管理、处理并整理成为人类所能解读的形式的信息。

看得懂吗？好像也不是那么难以理解。首先，这些数据要够多，即规模巨大；第二，这些数据不能够在合理的时间内被处理并分析，也就意味着，对于一个人来说，如果让他在1天内看完1万本书，并写相应的书评，那么这1万本书对于这个人来说就是大数据；但是，如果让1万个人在1天内看1万本书，并写对应书评，那么其实是可以完成的任务，这样这1万本书对于这1万个人来说就不是大数据了。

大数据有哪些特点呢？

首先，可以肯定的是数据量比较大，它才能被称为大数据，所以其第一个特点就是数据体量巨大。其次，数据的类型多样也是大数据的一个特征，数据类型不仅指文本形式，更多指的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝大多数。第三，处理速度快也是大数据的一个特征，数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。最后，大数据具有价值密度低的特点，以视频为例，1小时的监控视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

生活中大数据有哪些应用呢？

随着大数据的应用越来越广泛，应用的行业也越来越多，我们每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值信息。

（1）理解客户，满足客户服务需求

大数据的应用目前在这个领域是最广为人知的。重点是如何应用大数据更好地了解客户以及他们的爱好和行为。企业非常喜欢搜集社交方面的数据、浏览器的日志、分析文本和传感器的数据，从而更加全面地了解客户。在一般情况下，企业会采用建立数据模型的方式进行预测。

比如美国的著名零售商Target就是通过大数据分析得到有价值的信息，精准地预测到客户在什么时候想要小孩。再比如，通过大数据应用，电信公司可以更好地预测出流失的客户，沃尔玛则更加精准地预测出哪个产品会大卖，汽车保险行业会更加了解客户的需求和驾驶水平，外国候选政党也能了解到选民的偏好。

（2）提高医疗水平和研发效率

大数据分析应用的计算能力可以让我们能够在几分钟内解码整个DNA，并且制定出最新的治疗方案，同时更好地了解和预测疾病。大数据技术目前已经在医疗中应用，如监视早产婴儿和患病婴儿的情况，通过记录和分析婴儿的心跳，对婴儿的身体可能出现的不适症状做出预测，从而更好地救治婴儿。

（3）改善安全和执法

目前来说，大数据已经广泛应用到安全执法的过程当中。想必大家都知道美国安全局已经开始利用大数据打击*，甚至监控可疑人的日常生活。而企业则应用大数据技术防御网络攻击，警察应用大数据工具捕捉罪犯，信用卡公司应用大数据工具来检测欺诈性交易等。

（4）改善我们的城市

大数据还被用来改善我们所生活的城市。例如基于城市实时交通信息、利用社交网络和天气数据来优化最新的交通情况。目前很多城市都在进行相关的大数据分析和试点。

（5）金融交易

大数据在金融行业主要是用于金融交易。高频交易（HFT）是大数据应用比较多的领域，其中大数据算法被应用于交易决定。现在很多股权的交易都是利用大数据算法进行的，这些算法越来越多地考虑了社交媒体和网站新闻来决定在未来几秒内是买入还是卖出。

通过上面的描述也可以看出，大数据不只是适用于企业和*，同样也适用于我们生活当中的每个人。我们可以利用可穿戴装备（如智能手表或者智能手环）生成最新的数据，对热量的消耗以及睡眠模式进行追踪；还可以利用大数据分析来寻找属于我们的爱情，大多数的交友网站就是应用大数据工具来帮助需要的人匹配合适的对象。