大数据的初步认识：

数据量爆发式增长的今天，数字化转型成为IT行业的热点，数据需要更深度的价值挖掘，应对未来不断变化的需求。海量离线数据分析可以应用于多种商业系统环境，例如电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。

场景1：

本场景将通过开通登录EMR Hadoop集群，简单进行hive操作，使用hive对数据进行加载，计算等操作。展示了如何构建弹性低成本的离线大数据分析。

体验此场景后，可以掌握的知识有：

1.EMR集群的基本操作，对EMR产品有初步的了解

2.EMR集群的数据传输和hive的简单操作，对如何进行离线大数据分析有初步的掌握

场景2：

本场景通过创建登录阿里云Elasticsearch集群，使用Beats采集器收集ECS上的系统数据和Nginx服务数据，配置基础的指标分析看板，简单展示数据采集、分析的过程和操作方式。

阿里云Elasticsearch兼容开源ELK功能，提供免运维全托管服务的弹性云搜索与分析引擎，致力于数据库加速、数据分析、信息检索、智能运维监控等场景服务；独有的云原生高性能内核、达摩院NLP分词、向量检索、智能运维、免费X-Pack高级商业特性等能力，全面提升企业应用效率，降低成本。

场景3：

数据挖掘的一个经典案例就是尿布与啤酒的例子。尿布与啤酒看似毫不相关的两种产品，但是当超市将两种产品放到相邻货架销售的时候，会大大提高两者销量。很多时候看似不相关的两种产品，却会存在这某种神秘的隐含关系，获取这种关系将会对提高销售额起到推动作用，然而有时这种关联是很难通过经验分析得到的。这时候我们需要借助数据挖掘中的常见算法-协同过滤来实现。这种算法可以帮助我们挖掘人与人以及商品与商品的关联关系。

协同过滤算法是一种基于关联规则的算法。以购物行为为例，如果用户甲和用户乙都购买了商品A和商品B，则可以假定用户甲和用户乙的购物品味相似。当用户甲购买了商品C，而用户乙未购买时，可以将商品C推荐给用户乙，这就是经典的User-Based，即以User的特性为关联。