冬季实战营第五期:轻松入门学习大数据

实战营第五期由三个动手实战场景和两个直播代练组成,通过三个场景实战由浅入深学习大数据技术的使用。
基于EMR离线数据分析
基于EMR集群进行离线数据分析。

  1. 登录集群
    登录EMR集群终端
    冬季实战营第五期:轻松入门学习大数据
  2. 上传数据到HDFS
    将自建数据上传到HDFS
    冬季实战营第五期:轻松入门学习大数据
  3. 使用Hive创建表
    使用hive创建数据表,并使用hadoop文件系统中的数据加载到hive数据表中
    冬季实战营第五期:轻松入门学习大数据
  4. 对表进行操作
    使用hive对数据表进行查询等操作
    冬季实战营第五期:轻松入门学习大数据

使用阿里云Elasticsearch快速搭建智能运维系统
使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式

  1. 登录集群
    冬季实战营第五期:轻松入门学习大数据
  2. 登录Kibana,开启自动创建索引功能
    冬季实战营第五期:轻松入门学习大数据
  3. 使用Metricbeat采集ECS上的系统数据
    冬季实战营第五期:轻松入门学习大数据
  4. 使用Filebeat采集ECS上的Nginx服务数据
    冬季实战营第五期:轻松入门学习大数据

使用协同过滤实现商品推荐
使用PAI基于协同过滤算法实现商品推荐

  1. 开通机器学习PAI服务
    在阿里云首页找到产品-->人工智能-->机器学习平台-->开通
  2. 创建PAI Studio项目
    在可视化建模-->创建项目等待初始化进入机器学习
  3. 创建实验
    在首页-->[推荐算法]商品推荐-->从模块创建-->
  4. 查看实验数据
    单击cf_训练_data节点查看数据
  5. 运行实验
    点击运行
  6. 查看实验结果
    单击join-1节点-->查看数据(全表统计-1、全表统计-2查看数据)
上一篇:安全风险:通过网络可搜索到用户数据库


下一篇:时间复杂度