学习报告-冬季实战营第五期:轻松入门学习大数据

冬季实战营第五期:轻松入门学习大数据 (aliyun.com)

基于EMR离线数据分析

https://developer.aliyun.com/adc/scenario/175735954e19429cbb753cd547c00b5a

本实验免费提供EMR集群,基于EMR集群进行离线数据分析。

E-MapReduce(简称“EMR”)是云原生开源大数据平台,向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。EMR计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK、专有云平台。

登陆集群

上传数据到HDFS

使用hive创建表

使用阿里云Elasticsearch快速搭建智能运维系

https://developer.aliyun.com/adc/scenario/18d723b856564fcbafb365d121804588

通过创建登录阿里云Elasticsearch集群,使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式。

阿里云Elasticsearch兼容开源ELK功能,提供免运维全托管服务的弹性云搜索与分析引擎,致力于数据库加速、数据分析、信息检索、智能运维监控等场景服务;独有的云原生高性能内核、达摩院NLP分词、向量检索、智能运维、免费X-Pack高级商业特性等能力,全面提升企业应用效率,降低成本。

学习报告-冬季实战营第五期:轻松入门学习大数据

登录集群

登录Kibana,开启自动创建索引功能

使用Metricbeat采集ECS上的系统数据

使用Filebeat采集ECS上的Nginx服务数据

推荐系统入门之使用协同过滤实现商品推荐

开通机器学习PAI服务

创建PAI Studio项目

创建实验

查看实验数据

运行实验

查看实验结果

最后两天通过直播的方式进行实战,感谢老师辛苦付出

上一篇:Spring IOC 方式结合TESTGN测试用例,测试简单java的命令模式


下一篇:网页爬虫的设计与实现(Java版)