认证名称及链接
Apsara Clouder大数据技能认证:数据仓库系统的运维优化
课时列表
- 课时1:数据仓库系统运维介绍
- 课时2:数据仓库系统运维技术方案
- 课时3:阿里云数据仓库运维开发平台DataWorks介绍
- 课时4:阿里云相关产品基本操作演示
- 课时5:利用阿里云DataWorks产品实现数据仓库系统运维
- 课时6:【在线实验】数据仓库系统的运维优化
证书
笔记
-
仓库系统的运维
- 确保系统正常运转
- 出现问题能够及时解决
-
运维管理的主要目标
- 合规性
- 可用性
- 可靠性
- 经济性
- 服务性
-
运维发展
- 被动手工无系统
- 半手工半自动运维
- 自动化运维
- 智能运维
-
运维主要流程
- 数据采集
- 分析处理
- 结果应用
-
数据仓库运维模式
- 垂直模式
- 横向模式
- 均衡模式
-
数据仓库系统的运维框架
- 人员
- 流程
- 工具
- 外服
- 数据&业务
-
数仓系统运维数据流优化策略
- 依据业务逻辑
- 依据处理效率
- 依据处理时间
- 依据重要程度
- 依据数据量
- 依据源系统
-
数仓运维自动化技术方案
- 关键:流程+工具
- 目标:标准化、流程化、原子化
-
自动化运维
- 资源管理
- 安装配置
- 发布部署
- 自动巡检
- 变更管理
- 安全审计
-
运维智能化技术
- 异常检查
- 智能告警
- 关联分析
- 故障定位
- 自愈预测
- 数仓运维利器:高效调度系统
- 数仓数据运维的根本:元数据
-
DataWorks(原名:Data IDE)
- 数据开发
- 数据管理
- 作业调度
-
DataWorks 系统角色
- 组织管理员
- 项目管理员
- 开发
- 运维
- 部署
- 访客
-
DataWorks 基本概念
- 组织
- 项目空间
- 作业
- 工作流
- 节点
- 依赖关系
- 实例
- 资源
- 自定义函数
- MaxCompute、RDS、DataWorks
- SQL
备注
工匠精神,精益求精,踏实学习,再接再厉O(∩_∩)O
欢迎各位同学一起来交流学习心得!