冬季实战营第五期:轻松入门学习大数据学习小结
时光飞逝,冬季实战营第五期已结束,短短5天的学习之旅让我收获了很多。
这一期的学习内容是主要是关于大数据的。
第一天的实践是基于EMR离线数据分析,
我们可以先了解一下EMR的概念,那么什么是EMR?
E-MapReduce(简称“EMR”)是云原生开源大数据平台,向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。EMR计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK、专有云平台。本实验免费提供EMR集群,让我们基于EMR集群进行离线数据分析。通过本次实验,让我对EMR集群的基本操作,对EMR产品有初步的了解。
第二天,使用阿里云Elasticsearch快速搭建智能运维系统,通过创建登录阿里云Elasticsearch集群,使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式。通过本次实验,让我对Elasticsearch也有了初步的了解。
这一期的实战营让我对大数据有了新的认识,本次实战营到此圆满结束,让我们一起期待未来还有更多的实战营!