前言

总共五期的冬季实战营来到最后一期了，本期的实战着重于大数据，同上期一样共分成了三个实战训练和两次直播学习。在不知不觉中，它已经改变了人们的生活、工作以及思考的方式。

1.基于EMR离线数据分析

EMR是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。这个实战介绍了如何登录EMR集群、如何上传数据到HDFS以及如何使用hive创建表，并从hadoop文件系统加载数据三个方面内容，让我们对EMR产品有了初步的了解。

2.使用阿里云Elasticsearch快速搭建智能运维系统

这个实战让我了解了阿里云Elasticsearch集群创建登录的基础操作。实战结束后我学会了采集系统数据和Nginx服务数据和配置指标分析看板，体验了数据分析和运维的过程，特别是其中数据采集、分析的过程和操作方式。

3.使用协同过滤实现商品推荐

实战利用了机器学习PAI平台，指导我们搭建一个基于协同过滤算法的商品推荐系统。很多时候看似不相关的两种产品，却会存在这某种神秘的隐含关系，获取这种关系将会对提高销售额起到推动作用，然而有时这种关联是很难通过经验分析得到的。这时候我们需要借助数据挖掘中的常见算法-协同过滤来实现。

4.“利用湖仓一体架构快速搭建企业数据中台”直播带练

直播主要涉及湖仓一体架构及其应用，这个架构力图结合数据仓库的弹性和数据湖的灵活性，那么如何结合数据仓库和数据湖的优点，同时最大程度地减少每种模式自身的弊端就是一个问题，直播探讨了该问题的解答，同时以搭建企业数据中台为实例进行了具体讲解。

5.“基于Elasticsearch+Fink的日志全观测最佳实践”直播带练

直播主要介绍了一个名词“全观测”，那么什么是全观测呢？它是对传统运维的一个改进，将日志指标APM等数据汇总到统一的平台上，让研发、运维、业务人员等在上面对所有的数据用一个统一的视角去做一个综合的分析，通过这样的方式极大的提高了效率。

总结

五期的学习实战结束了，经过这几次实战训练，特别是最后这一期实战，我掌握了很多与大数据有关的知识，可以说大数据进入了入门阶段，有了不错的掌握，感谢阿里云给我们这样的学习机会。