华为云云原生王者之路钻石集训营--学习笔记

目录

  • 云原生钻石课程开篇直播
  • 容器运行时技术深度剖析
  • Kubernetes技术架构深度剖析
  • Kubernetes高级调度器原理详解
  • Kubernetes存储架构原理深度剖析(上)
  • Kubernetes存储架构原理深度剖析(下)
  • Kubernetes网络架构原理深度剖析(上)
  • Kubernetes网络架构原理深度剖析(下)
  • Kubernetes运维管理详解(上)
  • Kubernetes运维管理详解(下)
  • Kubernetes安全权限管理深度剖析
  • Kubernetes应用管理深度剖析
  • Istio控制面架构深度剖析
  • Istio数据面架构(Envoy)深度解析
  • Istio流量治理与监控管理深度剖析
  • 传统微服务框架接入Istio方案详解

全部课程链接:https://education.huaweicloud.com/programs/63384278-52ab-42e9-8e67-5dff5a9f37fd/about?isAuth=0&cfrom=hwc

云原生钻石课程开篇直播

直播回看:https://bbs.huaweicloud.com/live/edu_live/202107191900.html

容器运行时技术深度剖析

  • 容器引擎和运行时机制原理剖析
  • 业界主流容器运行时技术架构剖析
  • 华为云容器运行时技术架构剖析
  • 容器运行时技术的发展方向

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI041+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI041+Self-paced/courseware/05122317ec3348c88cb9744d6ea03787/c241b33dd9244cd882f0e6bb3b5e64e6/

容器引擎和运行时机制原理剖析

  • Kubernetes定义的容器运行时接口:CRI,当前较为主流的实现包括dockershim、cri-containerd、cri-o
  • OCI runtime spec定义了运行时实现中,文件格式和命令行格式,runc、kata、gVisor等运行时都符合这个标准
  • Containerd定义了一套ttrpc接口,方便运行时实现者更好地进行容器状态管理

业界主流容器运行时技术架构剖析

  • Runc:基于linux的namespace、cgroup和capability等技术实现隔离的容器实现
  • kata containers:基于虚拟化隔离技术的容器实现
  • gVisor:一种基于拦截系统调用的实现隔离的容器实现

华为云容器运行时技术架构剖析

  • 华为云的安全容器基于EulerOS和华为云自研的qemu-microvm对安全容器进行了轻量化改造
  • 华为云的安全容器支持GPU、nvlink、Ascend、SDI等硬件设备
  • 华为云的安全容器和华为云的VPC网络、OBS、SFS、EVS等服务可无缝对接

容器运行时技术的发展方向

  • 通过rust改写、减少host进程,进一步轻量化hypervisor等方式实现更加轻量级的安全容器
  • 结合机密计算技术,实现更加安全的容器技术

Kubernetes技术架构深度剖析

  • Kubernetes系统架构详解
  • Controller原理详解
  • list-watch机制原理详解

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI042+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI042+Self-paced/courseware/6817c598390d4a008e5c6f45777aa10b/9377855719734815b3ac1bb5e7be9b5c/

Kubernetes系统架构详解

  • Kubernetes总体架构
  • Kubernetes核心组件

Controller原理详解

  • Kubernetes Controller Manager原理解析
  • Controller工作流程
  • Controller的eventHandler如何注册
  • client-go under the hood

list-watch机制原理详解

  • Informer封装list-watch
  • Informer设计实现
  • Kubernetes核心机制list-watch
  • Watch体验,通过curl命令watch pods资源
  • Watch是如何实现的
  • List-Watch的设计理念
  • List-Watch实现机制
  • List-Watch实现机制总结
  • 总结:Kubernetes基于list-watch机制的控制器结构

Kubernetes高级调度器原理详解

  • Kubernetes的调度流程原理与算法详解
  • Kubernetes高级调度算法详解
  • 华为云CCE Volcano批量调度算法与应用场景详解

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI043+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI043+Self-paced/courseware/1c3150849e3d4905b89042b1a2ebdf42/1432169734c74105a53ade02a878af4b/

Kubernetes的调度流程原理与算法详解

  • Kubernetes Scheduling
  • Kubernetes default scheduler 的特点
  • Kubernetes scheduler架构和调度流程
  • Kubernetes的调度策略与算法
  • 通过Predicate策略筛选符合条件的Node
  • 典型Predicate算法
  • 通过Priority策略给剩余的Node评分,挑选最优的节点
  • 典型Priority算法

Kubernetes高级调度算法详解

  • Kubernetes中的Label、Selector机制
  • Node Affinity让Pod在一组指定的Node上运行
  • Pod Affinity让Pod与指定Service的一组Pod在相同Node上运行
  • Taints-tolerations来自Node的反亲和配置

华为云CCE Volcano批量调度算法与应用场景详解

  • 云原生批量计算面临的挑战
  • Volcano 帮助批量计算面对云原生的各种挑战
  • Volcano 总体架构和优势
  • 典型调度算法
  • Namespace、Queue fair-share
  • Task-Topology
  • Spark MinResource

Kubernetes存储架构原理深度剖析(上)

  • Kubernetes容器存储发展历程
  • Kubernetes持久化存储体系
  • PV/PVC的工作原理剖析
  • 华为云CCE云原生存储解决方案Everest的架构介绍

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI044+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI044+Self-paced/courseware/bbd9280142c04709be5775cf1d93bd28/cd68ae3f21ce4b5d9934c45cbaa51903/

  • Kubernetes容器存储发展历程
  • Kubernetes持久化存储体系
  • PV/PVC的工作原理剖析
  • 华为云CCE云原生存储解决方案Everest的架构介绍

Kubernetes容器存储发展历程

  • Kubernetes容器存储发展历程
  • Kubernetes容器存储能力简介

Kubernetes持久化存储体系

  • Kubernetes持久化存储体系
  • 持久化存储优势分析

PV/PVC的工作原理剖析

  • PV/PVC分配方式
  • 静态卷:pv的状态转换
  • 静态卷:pvc的状态转换
  • pv/pvc绑定原理分析
  • pvc绑定pv流程解读
  • Kubernetes中pv/pvc相关的代码
  • 静态卷:pv/pvc使用场景示例

华为云CCE云原生存储解决方案Everest的架构介绍

  • Everest架构介绍
  • 云原生应用使用存储的推荐方案
  • 部署使用static pv的有状态应用etcd
  • 查看使用static pv的有状态应用etcd

Kubernetes存储架构原理深度剖析(下)

  • StorageClass工作原理分析
  • CSI容器存储接口架构解读
  • 云原生存储最佳实践:从FlexVolume插件向CSI插件迁移

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI045+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI045+Self-paced/courseware/8fab4799ab6c445b8f8dbbc0e41a95d8/64809b73c5d14a76ad44902dd9b51b4e/

StorageClass工作原理分析

  • StorageClass工作原理解读
  • StorageClass应用场景解读
  • 有状态应用使用动态PV卷示例

CSI容器存储接口架构解读

  • Kubernetes中存储相关的组件解读
  • 什么是云原生存储
  • CSI存储结构解读
  • CSI存储接口解读
  • 自研CSI插件的构建思路
  • CSI插件注册流程解读

云原生存储最佳实践:从FlexVolume插件向CSI插件迁移

  • CSI插件和Flexvolume插件对比
  • CSI存储兼容in-tree插件存储的方案解读
  • csi-migration-lib库解读
  • CCE服务中CSI存储兼容Flexvolume持久卷的方案解读

Kubernetes网络架构原理深度剖析(上)

  • Kubernetes基本网络模型剖析
  • Service服务负载均衡机制剖析
  • 华为云CCE Yangtse网络方案架构剖析

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI046+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI046+Self-paced/courseware/af81a9458abd4a9389ea7f4279d800eb/c44d5d24f44e44d0b3df26850be75745/

Kubernetes基本网络模型剖析

  • 概念厘清
  • K8S网络模型对互通性的要求
  • K8S网络模型(1):Overlay组网模型
  • K8S网络模型(2):二层组网模型
  • K8S网络模型(3):三层组网模型

Service服务负载均衡机制剖析

  • K8S Service负载均衡机制实现原理(1):IPTables
  • K8S Service负载均衡机制实现原理(2):IPVS
  • K8S Service负载均衡机制实现原理(3):eBPF

华为云CCE Yangtse网络方案架构剖析

  • 华为云CCE Yangtse网络(1):VPC路由模式
  • 华为云CCE Turbo Yangtse网络(2):ENI/TrunkPort

Kubernetes网络架构原理深度剖析(下)

  • Ingress服务原理机制剖析
  • CNI接口与实现原理介绍
  • 云原生网络最佳实践与经典问题案例

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI047+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI047+Self-paced/courseware/b5f3529dda3946f0b295f0f1eac9a74b/efdbb46de79e49b1bad96a40c35b8ef3/

Ingress服务原理机制剖析

  • Ingress API接口模型与演进
  • Ingress Controller架构剖析

CNI接口与实现原理介绍

  • CNI接口与插件能力模型
  • CNI在K8S中是如何工作的
  • CNI高级特性举例

云原生网络最佳实践与经典问题案例

  • 云原生网络最佳实践(1):IDC与CCE集群共享DNS方案
  • 云原生网络最佳实践(2):微服务容器实例访问云数据库等中间件的网络隔离方案
  • K8S容器网络典型问题定位(1):源地址保持的“锅”?
  • K8S容器网络典型问题定位(2):时延去哪了?

Kubernetes运维管理详解(上)

  • 工作负载更新和回滚机制详解
  • 应用探针健康检查机制详解
  • 应用弹性伸缩原理详解

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI048+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI048+Self-paced/courseware/200a2e26f50a492fa016ac65f4cf915a/6720226d0c9f49f3ad13edff23ad44a6/

工作负载更新和回滚机制详解

  • 无状态工作负载(deployment)更新
  • 无状态工作负载(deployment)回滚
  • 有状态工作负载(StateefulSet)更新
  • 有状态工作负载(StateefulSet)回滚

应用探针健康检查机制详解

  • 容器健康检查
  • 探针检查机制

应用弹性伸缩原理详解

  • 弹性伸缩概述
  • AutoScaler节点伸缩原理解析
  • HPA工作负载伸缩原理解析
  • 使用HPA+CA实现工作负载和节点联动弹性伸缩
  • 创建HPA示例
  • 查看HPA

Kubernetes运维管理详解(下)

  • 集群可观测性详解
  • 常见集群故障排错分析
  • 华为云CIE集群监控方案架构详解

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI049+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI049+Self-paced/courseware/b3464e0101d24fc1ab00e3c132a0c785/04b23f7ba1a9441781c59e5e79bcd499/

集群可观测性详解

  • 云原生应用特点
  • K8S与云原生应用监控挑战
  • 云原生可观测性
  • 指标监控与prometheus
  • Prometheus架构
  • 基于prometheus-operator集群监控
  • K8S集群监控指标解析
  • 基于Grafana指标可视化
  • 集群事件监控
  • NodeProblemDetector(NPD)
  • 集群日志监控
  • 拓扑与调用链

常见集群故障排错分析

  • 集群常见问题排障

华为云CIE集群监控方案架构详解

  • 华为云容器洞察引擎(CIE)架构解析
  • 集中统一的告警、事件管理和日志分析
  • 快速故障定位

Kubernetes安全权限管理深度剖析

  • 集群准入控制机制详解
  • 集群认证机制剖析
  • 集群鉴权机制RBAC剖析

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI050+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI050+Self-paced/courseware/51eb69d01b414a0e985cdf4c862ccdd9/abf9cb2f1e71457ea4c01c99602afa23/

集群准入控制机制详解

  • 集群准入控制机制详解
  • Kubernetes API 访问控制

集群认证机制剖析

  • 认证(Authentication)

集群鉴权机制RBAC剖析

  • 鉴权(Authorization)

Kubernetes应用管理深度剖析

  • K8s应用模板的使用场景介绍
  • Helm chart模板机制详解
  • Operator机制详解

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI051+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI051+Self-paced/courseware/cf547353b7dc425fadd6f022f4d225e4/3bf61c0c056646548747ab1096925628/

K8s应用模板的使用场景介绍

  • Helm能给我们带来什么
  • 什么是Operator
  • Helm VS Operator

Helm chart模板机制详解

  • Helm架构
  • Chart包示例
  • Chart.yaml示例
  • Template-Value示例
  • 内置对象
  • 子模板
  • Hook机制
  • Chart依赖管理

Operator机制详解

  • Operator原理--扩展Kubernetes API,定义应用
  • Operator原理--Kubernetes Controller机制
  • Operator原理--实现Operator,管理应用
  • Operator实战--Redis集群拓扑
  • Operator实战--Redis扩缩容
  • Operator实战--Redis数据备份
  • Operator自身管理--Operator Framework

Istio控制面架构深度剖析

  • Istio整体架构
  • 透明的Sidecar原理
  • Istio基本功能实现原理

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI052+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI052+Self-paced/courseware/2196b207c84945a6b54e834897ee0828/3d614ae1b0014116be0694086bb4de71/

Istio整体架构

  • Istio整体架构
  • Pilot基本架构
  • Citadel基本架构
  • Galley基本架构
  • Pilot-Agent基本架构

透明的Sidecar原理

  • Sidecar基本介绍
  • Sidecar流量拦截
  • Envoy流量代理流程
  • Envoy流量匹配与转发

Istio基本功能实现原理

  • 流量治理基本API
  • 流量治理基本原理
  • 服务发现
  • 路由匹配
  • 灰度发布
  • 服务网格监控-Observability
  • 服务网格监控-Metrics
  • 服务网格监控-Trace
  • 服务网格监控-AccessLog

Istio数据面架构(Envoy)深度剖析

  • 服务网格数据面Envoy介绍
  • Envoy原理及总体架构
  • Envoy启动配置及xDS
  • Envoy网络及线程模型、过滤器架构、HTTP请求流程
  • Envoy问题分析方法

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI053+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI053+Self-paced/courseware/b56e7d61ad3e4b978fec062f752098ac/83b4a7566b6d4a198e62148dc9a6fede/

服务网格数据面Envoy介绍

  • Envoy介绍

Envoy原理及总体架构

  • Envoy原理及总体架构-启动
  • Envoy原理及总体架构-说明
  • Envoy原理及总体架构-流量拦截

Envoy启动配置及xDS

  • Envoy启动配置及xDS
  • Envoy启动配置及xDS-cont'(实操)
  • Envoy常用部署方式

Envoy网络及线程模型、过滤器架构、HTTP请求流程

  • Envoy网络及线程模型
  • Envoy网络及线程模型-共享数据同步
  • Envoy网络及线程模型-集群信息更新
  • Envoy网络及线程模型-网络处理
  • Envoy过滤器架构
  • Envoy过滤器架构-常用过滤器
  • Envoy过滤器架构-相关代码
  • EnvoyHTTP请求流程

Envoy问题分析方法

  • Envoy问题分析方法
  • Istio数据面发展趋势

Istio流量治理与监控管理深度剖析

  • Istio流量治理基本介绍
  • Istio流量治理深度剖析
  • Istio监控深度剖析

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI054+Self-paced/about

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI054+Self-paced/courseware/d8600435a1354a9a8e956ed2235c6463/715d0789895540de8b6fe674743d6a35/

Istio流量治理基本介绍

  • 流量治理推演
  • Istio流量治理基本介绍

Istio流量治理深度剖析

  • Istio流量治理深度解析-VirtualService
  • Istio流量治理深度解析-Header Manipulation
  • Istio流量治理深度解析-DestinationRule
  • Istio流量治理深度解析-Gateway
  • Istio流量治理深度解析-ServiceEntry
  • Istio流量治理深度解析-Sidecar

Istio监控深度剖析

  • Istio Observability
  • 服务网格监控-Metrics
  • 服务网格监控-Trace
  • 服务网格监控-AccessLog

传统微服务框架接入Istio方案详解

  • 微服务的概念和原理
  • 传统微服务框架的问题和基于服务网络的解决方案
  • 传统微服务框架在服务网络中集成的实践详细

直播回看:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI055+Self-paced/about?ticket=ST-218519-yh6KJ3MmxB4YRPHQtd5zHJMR-sso

课程ppt:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXI055+Self-paced/courseware/511f6f06d97d4aaf9b90445dca5800d1/3c130e3e46c14eb79c01eaf12e030d73/

微服务的概念和原理

  • 微服务架构业务解耦的同时带来了极大的复杂度
  • 基于传统微服务SDK的服务治理
  • 基于网络的服务治理
  • 模型:服务发现 & 负载均衡
  • 模型:服务熔断

传统微服务框架的问题和基于服务网络的解决方案

  • 问题一:微服务SDK的多语言问题
  • 方案一:服务网格统一在数据面上执行统一的流量策略
  • 问题二:基于SDK的微服务在Kubernetes上运行的服务发现延迟和数据不一致问题
  • 方案二:Istio服务网格基于Kubernetes构建,使用平台一致的服务发现
  • 问题三:基于SDK开发的微服务,SDK逻辑升级,所有业务必须重新编译升级
  • 方案三:网络数据面和业务解耦,治理能力升级只需要平台升级,用户业务无需升级
  • 问题四:基于SDK进行微服务化时,为了统一服务发现和治理能力,一般要全部一起改造
  • 方案四:基于服务网格渐进微服务化,对老的单体和新的微服务同时服务发现和服务治理

传统微服务框架在服务网络中集成的实践详细

  • 总体思路:卸载服务治理能力到平台,SDK保留开发框架能力
  • Kubernetes平台自有的服务发现替代业务内置的服务发现
  • 在Kubernetes基础上启用服务网格,业务代码无需修改、服务发现无需适配
  • 通过修改配置使得切换Springcloud服务发现为Kubernetes服务发现
  • 通过修改配置使得切换Dubbo服务发现为Kubernetes服务发现
  • Dubbo服务开放HTTP和Dubbo两种应用协议,可以通过Dubbo和HTTP两种协议访问
  • Dubbo服务治理配置
  • 代码卸载微服务框架中的服务治理部分,只保留应用开发框架
  • 微服务网关演进方案
  • 多开发语言、多种框架的服务直接可以基于同一套服务发现和服务治理平台管理
  • 导入和集成微服务注册中心数据到网络,支持网络对微服务框架开发的服务和访问治理
  • 实践:SpringCloud app使用Istio的灰度发布总体效果
  • 实践:SpringCloud app使用Istio的灰度发布流量规则配置
  • 实践:SpringCloud服务基于网络熔断(1)
  • 实践:SpringCloud服务基于网络熔断(2)
  • 实践:SpringCloud服务基于网络熔断(3)
  • 实践:SpringCloud服务基于网络熔断(4)
  • 实践:SpringCloud服务基于网络熔断(5)

华为云云原生王者之路钻石集训营--学习笔记

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

欢迎转载、使用、重新发布,但务必保留文章署名 郑子铭 (包含链接: http://www.cnblogs.com/MingsonZheng/ ),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。

上一篇:理解LSTM网络--Understanding LSTM Networks(翻译一篇colah's blog)


下一篇:通过Google身份验证器加强Linux帐户安全