Apsara Clouder认证之旅 数据仓库系统的运维优化

认证名称及链接

Apsara Clouder大数据技能认证:数据仓库系统的运维优化

课时列表

  • 课时1:数据仓库系统运维介绍
  • 课时2:数据仓库系统运维技术方案
  • 课时3:阿里云数据仓库运维开发平台DataWorks介绍
  • 课时4:阿里云相关产品基本操作演示
  • 课时5:利用阿里云DataWorks产品实现数据仓库系统运维
  • 课时6:【在线实验】数据仓库系统的运维优化

证书

Apsara Clouder认证之旅 数据仓库系统的运维优化

笔记

  • 仓库系统的运维

    1. 确保系统正常运转
    2. 出现问题能够及时解决
  • 运维管理的主要目标

    1. 合规性
    2. 可用性
    3. 可靠性
    4. 经济性
    5. 服务性
  • 运维发展

    1. 被动手工无系统
    2. 半手工半自动运维
    3. 自动化运维
    4. 智能运维
  • 运维主要流程

    1. 数据采集
    2. 分析处理
    3. 结果应用
  • 数据仓库运维模式

    1. 垂直模式
    2. 横向模式
    3. 均衡模式
  • 数据仓库系统的运维框架

    1. 人员
    2. 流程
    3. 工具
    4. 外服
    5. 数据&业务
  • 数仓系统运维数据流优化策略

    1. 依据业务逻辑
    2. 依据处理效率
    3. 依据处理时间
    4. 依据重要程度
    5. 依据数据量
    6. 依据源系统
  • 数仓运维自动化技术方案

    1. 关键:流程+工具
    2. 目标:标准化、流程化、原子化
  • 自动化运维

    1. 资源管理
    2. 安装配置
    3. 发布部署
    4. 自动巡检
    5. 变更管理
    6. 安全审计
  • 运维智能化技术

    1. 异常检查
    2. 智能告警
    3. 关联分析
    4. 故障定位
    5. 自愈预测
  • 数仓运维利器:高效调度系统
  • 数仓数据运维的根本:元数据
  • DataWorks(原名:Data IDE)

    1. 数据开发
    2. 数据管理
    3. 作业调度
  • DataWorks 系统角色

    1. 组织管理员
    2. 项目管理员
    3. 开发
    4. 运维
    5. 部署
    6. 访客
  • DataWorks 基本概念

    1. 组织
    2. 项目空间
    3. 作业
    4. 工作流
    5. 节点
    6. 依赖关系
    7. 实例
    8. 资源
    9. 自定义函数
  • MaxCompute、RDS、DataWorks
  • SQL

备注

工匠精神,精益求精,踏实学习,再接再厉O(∩_∩)O
欢迎各位同学一起来交流学习心得!

上一篇:Apsara Clouder认证之旅 使用DataV制作实时销售数据可视化大屏


下一篇:学习笔记 云效DevOps训练营(第二期)