@commandersu
2021-07-14 16:30
字数 8478
阅读 456
阿里云系类(二) ECS RDS
阿里云项目实战工程师
Mr.su执教笔记(QQ:491537692)
--私人课件,不出版,不公开,禁止传播想做好运维工作,人先要学会勤快;
居安思危,勤记而补拙,方可不断提高;
别人的资料用的再爽也是别人的;
自己总结的东西是你自身特有的一种思想与理念的展现;
精髓不是看出来的,精髓是记出来的;
请同学们在学习的过程中养成好的学习习惯;
勤于实践,抛弃教案,勤于动手,整理文档。
ECS
诞生的背景
原理:
优势:
-
稳定:
实例可用性高99.95%,数据可靠性不低于99,99999%
自动宕机迁移,自动快照备份,数据恢复更方便。 -
弹性:
横向弹:可以在一瞬间扩大很多服务器
纵向弹:可以在一台服务器上*配置cpu、内存、宽带、可随时升级配置,升级配置数据不丢失,业务暂停时间可控。 -
安全:
免费的DDOS防护,木马查杀,防爆力破解等服务,可以轻松实现多用户对多服务器的访问控制。 -
成本:
高性价比,支持包年包月,或者按量计费,满足不同的需求无需服务器网络和硬件维护,0成本运维。 -
易用性:
丰富的操作系统和应用软件,通过镜像可以一键简单部署,同一镜像可在多台ECS上快速复制环境,轻松扩展 -
可扩展性:
ECS可以和阿里云各种丰富的云产品无缝衔接,可持续为业务发展提供完整的计算,存储,安全等解决方案
与传统的对比:
一个简单的运行环境
ECS的一些概念
- 实例,instance ,一台ECS就是一个实例
- 磁盘,disk 不可以跨可用区挂载,
- 快照 ,snapshot快照可以在地域内可见,可以跨可用区使用
- 镜像,image 可以做跨地域的迁移。
- 经典网络和安全组:security group
- 虚拟专有网络vpc(virtual private cloud)
- 网络:
专有网络(Virtual Private Cloud):逻辑上彻底隔离的云上私有网络。您可以自行分配私网IP地址范围、配置路由表和网关等。
经典网络:所有经典网络类型实例都建立在一个共用的基础网络上。由阿里云统一规划和管理网络配置。 - 地域:可以看为是北京市
- 可用区:可以看为是八大城区,在同一个地域中的不同的可用区内网是可以互通的。
镜像的分类
- 公共镜像:大家公开的
- 自定义镜像:自己做了修改的的镜像
- 共享镜像:可以把自己的镜像共享给别人
- 镜像市场:别人做完了的,可以自己去买
热迁移:在开机状态下数据迁移
冷迁移:服务器直接宕机进行数据迁移。
镜像不能跨地域使用,如果想要使用,必须先去复制一个镜像到你想要使用过的地域里
阿里云不在支持Windows server 2003的镜像
地域和可用区
选择地域:看你的服务的客户在哪里多,比如在北京,那么我们就选择北京
选择可用区:
在同一个可用区:优点低延迟。缺点:低可靠性
不同的可用区:优点 高可用性。缺点:通信延时
ECS的付费方式
-
包年包月 (先付费华北三的一台ECS三个月总价)
-
按量付费
按量付费ECS资源按照计费周期计费,在每个结算周期生成账单并从账户中扣除相应费用。 - 抢占实例
抢占式实例的市场价格会随供需变化而浮动
- 抢占式实例不支持转换为包年包月实例。
- [ ] 抢占式实例不支持变更实例规格。
ECS实例的规格族
- 通用型 (g6为例)
- 计算型 (c6w为例)
- 内存型
- 大数据型
- 本地ssd型
- 高主频型
- GPU计算型
- FPGA计算型
-
弹性裸金属服务器
-
超级计算机集群
- 突发型
- 共享型
ECS实例系类区分
- c:一般表示计算型(computational)
- 一般表示通用型(general)
- r:一般表示内存型(ram)
- ne:一般表示网络增强型(network enhanced)
- 数字一般区别同类型规格族间的发布时间。更大的数字代表新一代规格族,拥有更高的性价比,价格低性能好。
公司选型
根据使用场景挑选
根据服务挑选
几个常见的场景推荐
通用场景
场景细分 | 推荐规格族 | 性能需求 | 处理器与内存比 |
---|---|---|---|
均衡性能应用,后台应用 | g系列,eg:g6 | 中主频计算密集型 | 1:4 |
高网络收发包应用 | g系列,eg:g6 | 高网络PPS,计算密集型 | 1:4 |
高性能计算 | c系列 | eg:c6 | 高主频计算密集型 |
游戏应用
场景细分 | 推荐规格族 | 性能需求 | 处理器与内存比 |
---|---|---|---|
高性能端游 | C系列,eg:c6 | 高主频 | 1:2 |
手游,页游 | G系列,eg:g6 | 中主频 | 1:4 |
视频直播
场景细分 | 推荐规格族 | 性能需求 | 处理器与内存比 |
---|---|---|---|
视频转发 | g系列,eg:g6 | 中主频,计算密集型 | 1:4 |
直播弹幕 | g系列,eg:g6 | 高网络pps,计算密集型 | 1:4 |
ECS的磁盘分类
基于飞天分布式文件存储系统
类型 | 说明 |
---|---|
ESSD云盘 | 基于新一代分布式块存储架构的超高性能云盘产品,结合25GE网络和RDMA技术,单盘可提供高达100万的随机读写能力和更低的单路时延能力。 |
SSD云盘 | 具备稳定的高随机读写性能、高可靠性的高性能云盘产品 |
高效云盘 | 具备高性价比、中等随机读写性能、高可靠性的云盘产品 |
普通云盘 | 具备高可靠性、一般随机读写性能的云盘产品。 |
- 三副本技术
ECS最多可以购买4块数据盘。
ECS的快照机制
ECS的API
对ECS API接口调用是通过向ECS API的服务端地址发送HTTP GET请求,并按照接口说
明在请求中加入相应请求参数来完成的;根据请求的处理情况,系统会返回处理结果。
请求结构:
- 服务地址: ECS API的服务接入地址为: ecs.aliyuncs.com
- 通信协议:支持通过HTTP或HTTPS通道进行请求通信。推荐使用HTTPS通道发送请求。
- 请求方法:支持HTTP GET方法发送请求,这种方式下请求参数需要包含在请求的URL中。
- 请求参数:每个请求都需要指定要执行的操作,即Action参数(例如StartInstance )以及
- 每个操作都需要包含的公共请求参数和指定操作所特有的请求参数。
- 字符编码:请求及返回结果都使用UTF-8字符集进行编码
调用api的前提,是这个ecs是running的状态才可以
api的限制是可以通过调工单来接触限制的
ECS使用架构图
ECS实操演示
登录充值
用户账号控制
阿里云RAM访问控制。
RAM允许在一个云账号下创建并管理多个身份,并允许给单个身份或一组身份分配不同的权限,从而实现不同用户拥有不同资源访问权限的目的。RAM的功能特性如下:
- 集中控制RAM用户及其密钥:管理每个RAM用户及其访问密钥,为用户绑定多因素认证(MFA)设备。
- 集中控制RAM用户的访问权限:控制每个RAM用户访问资源的权限。
- 集中控制RAM用户的资源访问方式:确保RAM用户在指定的时间和网络环境下,通过安全信道访问特定的阿里云资源。
- 集中控制云资源:对RAM用户创建的实例或数据进行集中控制。当用户离开组织时,实例或数据不会丢失。
- 单点登录管理(SSO):支持与企业身份提供商(IdP)进行用户SSO或角色SSO。
将用户添加到用户组
换成子账号登录
创建一台ECS
专有宿主机就是你自己租一整个物理机。ECS是用程序虚拟出来的
登录一台ECS
vnc登录
单击界面左上角的发送远程命令 CTRL+ALT+Fx(x为1~10),可以切换不同的管理终端连接Linux实例执行不同的操作。黑屏可能是因为Linux实例处于休眠状态,单击键盘上任意键即可唤醒实例。
使用秘钥对登录
worekbench (切换到RAM用户实验)
熟悉实例
创建一个快照
创建镜像
释放实例
需要注意的是停止了实例,还是回收钱的,只有释放了实例,才算是彻底的结清,不在扣钱
在ECS上用yum安装个nginx去显示个网址,(太简单就不写教案,直接敲就可以了)
云数据库RDS
云数据库 RDS
阿里云关系型数据库(Relational Database Service,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储,RDS支持MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced Server,高度兼容Oracle数据库)和MariaDB TX引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。
RDS与自建数据库对比
价格对比
RDS的优势
灵活计费
- 对于短期需求,可以创建按量付费(按小时计费)的实例,用完可立即释放实例,节省费用。
- 对于长期需求,可以创建包年包月的实例,价格更实惠,且购买时长越长,折扣越多。
按需变配
在业务初期,可以购买小规格的RDS实例来应对业务压力。随着数据库压力和数据存储量的增加,可以升级实例规格。业务回到低峰时,可以降低实例规格,节省费用
即开即用
- 无需购置数据库服务器硬件或软件,节省大量成本。
- 开始使用RDS,只需通过阿里云控制台或者API创建指定规格的RDS实例,在数分钟内即可生成RDS实例。
透明兼容
- RDS与原生数据库引擎的使用方法一致,无需二次学习,上手即用
- RDS兼容现有的程序和工具。使用通用的数据导入导出工具即可将数据迁移至RDS,迁移过程中的人力开销非常低
管理便捷
- 阿里云负责RDS的日常维护和管理,包括但不限于软硬件故障处理、数据库补丁更新等工作,保障RDS的正常运转。
- 也可以通过阿里云控制台或者API自行完成数据库的增加、删除、重启、备份、恢复等管理操作。
RDS的典型引用
数据储存多样性
缓存数据的持久化
RDS可以搭配云数据库缓存产品(Redis和Memcache),组成高吞吐、低延迟的存储解决方案。相对于RDS,云数据库缓存产品有两个特性:
响应速度快。请求的时延通常在几毫秒以内。
缓存区能够支持比RDS更高的QPS(每秒处理请求数)
开放搜索
开放搜索服务(OpenSearch)是一款结构化数据搜索托管服务,为移动应用开发者和网站站长提供简单、高效、稳定、低成本和可扩展的搜索解决方案。通过OpenSearch自带功能,可将RDS中的数据自动同步至OpenSearch实现各类复杂搜索
读写分离
阿里云数据库RDS MySQL/SQL
Server可以添加只读实例,分担主实例的读取压力。主实例和只读实例都有独立的连接地址,当您开启读写分离/集群管理功能后,系统会额外提供一个读写分离地址/只读地址,您可以使用这个地址实现读写分离。您只需增加只读实例的个数,即可不断扩展系统的处理能力,应用程序无需做任何修改
实例规格族
存储类型
RDS提供三种存储类型,包括本地SSD盘、ESSD云盘和SSD云盘,不管是哪一种存储类型,RDS的可靠性、持久性和读写性能均会满足产品SLA承诺 。
为满足不同场景的需求,云数据库RDS提供三种数据存储类型:本地SSD盘、SSD云盘和ESSD云盘
- 本地SSD盘(这个是推荐的)
- 本地SSD盘是指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘,可以降低I/O延时
- SSD云盘
- SSD云盘是指基于分布式存储架构的弹性块存储设备。将数据存储于SSD云盘,即实现了计算与存储分离。
- ESSD云盘
- 增强型(Enhanced)SSD云盘,是阿里云全新推出的超高性能云盘产品。ESSD云盘基于新一代分布式块存储架构,结合25GE网络和RDMA技术,为您提供单盘高达100万的随机读写能力和更低的单路时延能力。
- ESSD云盘分为如下三类:
- ESSD云盘:PL1性能级别的ESSD云盘。
- ESSD PL2云盘:相比PL1,PL2性能级别的ESSD云盘大约可提升2倍IOPS和吞吐量。
- ESSD PL3云盘:相比PL1,PL3性能级别的ESSD云盘最高可提升20倍IOPS、11倍吞吐量,适合对极限并发I/O性能要求极高、读写时延极稳定的业务场景。
不同的盘的特性对比
实例
RDS专属集群
RDS专属集群是由多台主机(底层服务器,如ECS I2服务器、神龙服务器)组成的集群,相对于全托管数据库,可以满足您更多的需求
功能描述
专属集群功能是以集群形式批量管理实例。一个地域创建多个专属集群,一个专属集群包含多个主机,一个主机包含多个实例。
专属集群在集群维度提供资源调度、主机管理、实例管理三大功能体系:
- [x] 资源调度:可以通过资源视角配置超配比,充分利用资源。资源分为CPU、内存、存储空间、IOPS、网络流量等多个维度。
- [x] 主机管理:主机是专属集群的资源载体,管理主机包括添加主机、替换主机等。
- [x] 实例管理:管理数据库服务实例,包括主实例、备实例、只读实例和日志实例四种类型,并且开放RDS内部管理实例的功能。
支持的数据库类型
- RDS MySQL
- RDS PostgreSQL
- RDS SQL Server
费用
- 只需为主机付费,基于主机的相关功能(例如集群、实例、内存和本地磁盘)不再收费,但使用云盘存储时仍需收取云盘存储费用。
创建专属集群
注意事项
- 一个专属集群只能位于一个地域.
- 一个专属集群只能属于一个专有网络VPC。
- 专属集群名称在同地域内必须唯一。
创建步骤
参数说明
参数 | 说明 |
---|---|
引擎 | 专属集群的引擎。当前支持MySQL、PostgreSQL和SQL Server。 选择对应的引擎创建集群,才能在添加主机时选择对应的系统镜像,以及创建实例时选择对应的数据库类型。(MySQL和PostgreSQL可以选择AliLinux镜像。 SQL Server可以选择Windows镜像) |
CPU超配比参数 | 专属集群的CPU超配比。取值范围:100% ~ 300%,默认为200%,即所有实例的CPU资源之和可以是实际CPU资源的2倍,可以最大化使用CPU资源。 |
空间超配比参数 | 专属集群的空间超配比。取值范围:100% ~ 200%,默认为200%,即所有实例的空间资源之和可以是实际空间资源的2倍,可以最大化使用空间资源。 |
内存最大使用率 | 专属集群中每台主机的内存最大使用率。取值范围:0% ~ 90%,默认为90%。 |
资源分配策略 | 均衡分配:最大化追求更稳定的系统表现,优先从更空的主机中分配资源。 紧凑分配:最大化追求更充分的资源利用率,优先从已分配资源的主机中分配资源。 |
专有网络 | 专属集群归属的专有网络VPC。 ( VPC设置后无法修改,只能删除专属集群后重新创建专属集群,确保VPC选择正确。) |
主机故障处理策略 | 自动替换主机:系统会自动替换故障主机。(如果故障主机是云盘主机,必须打开允许自动快照主机存储空间才能自动替换主机。 如果故障主机是非云盘主机,则系统会先将故障主机上的实例迁移走,然后再替换故障主机。) 手动替换主机:用户需要手动替换故障主机。 |
管理专属集群
专属集群创建后,您需要在专属集群内添加主机,才能在主机上创建实例并使用专属集群的各项功能。
需要添加至少2台主机,才能在专属集群内创建实例,使用完整的专属集群功能,这是因为系统需要在2台主机上分别创建主实例和备实例保证高可用性。
创建RDS实例
参数说明
参数 | 说明 |
---|---|
计费方式 | 包年包月:属于预付费,即在新建实例时需要支付费用。适合长期需求,价格比按量付费更实惠,且购买时长越长,折扣越多 按量付费:属于后付费,即按小时扣费。适合短期需求,用完可立即释放实例,节省费用。 专属主机组:由多台主机(底层服务器)组成,组内可*分配RDS实例,支持超额配比,性价比高。只需为主机付费,主机组和RDS实例不收费。 |
地域 | 购买后无法更换地域。 请根据目标用户所在的地理位置就近选择地域,提升用户访问速度。 请确保RDS实例与需要连接的ECS实例创建于同一个地域,否则它们无法通过内网互通,只能通过外网互通,无法发挥最佳性能。 |
类型 | 数据库引擎的类型和版本,这里选择MySQL。 当前支持MySQL 5.5、5.6、5.7、8.0。 (不同地域支持的数据库类型不同,请以实际界面为准。) |
系列 | 基础版:单节点,计算与存储分离,性价比高 高可用版:一个主节点和一个备节点,经典高可用架构。 三节点企业版(原金融版):一个主节点和两个备节点,位于同一地域的同一可用区或不同可用区,提供金融级可靠性。 |
存储类型 | 本地SSD盘:与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘,可以降低I/O延时。 ESSD云盘:增强型(Enhanced)SSD云盘,是阿里云全新推出的超高性能云盘产品。ESSD云盘基于新一代分布式块存储架构,结合25GE网络和RDMA技术,为您提供单盘高达100万的随机读写能力和更低的单路时延。ESSD云盘分为如下三类: ESSD云盘:PL1性能级别的ESSD云盘 ESSD PL2云盘:相比PL1,PL2性能级别的ESSD云盘大约可提升2倍IOPS和吞吐量 ESSD PL3云盘:相比PL1,PL3性能级别的ESSD云盘最高可提升20倍IOPS、11倍吞吐量,适合对极限并发I/O性能要求极高、读写时延极稳定的业务场景。 SSD云盘:基于分布式存储架构的弹性块存储设备。将数据存储于SSD云盘,即实现了计算与存储分离。 |
可用区 | 单可用区部署指主节点可用区和备节点可用区都处于相同可用区。 多可用区部署指主节点可用区和备节点可用区处于不同可用区,此时您只需要选择主节点可用区,系统会自动选择备节点可用区 |
实例规格 | 入门级:通用型的实例规格,独享被分配的内存和I/O资源,与同一服务器上的其他通用型实例共享CPU和存储资源。 企业级:独享或独占型的实例规格。独享型指独享被分配的CPU、内存、存储和I/O资源。独占型是独享型的顶配,独占整台服务器的CPU、内存、存储和I/O资源。 |
存储空间 | 存储空间包括数据空间、系统文件空间、Binlog文件空间和事务文件空间。调整存储空间时最小单位为5GB。 |
网络类型 | 经典网络:传统的网络类型。 专有网络:也称为VPC(Virtual Private Cloud)。VPC是一种隔离的网络环境,安全性和性能均高于传统的经典网络。选择专有网络时您需要选择对应的VPC和主节点交换机。 |
存储引擎 | 设置实例的默认存储引擎。当前仅MySQL 8.0高可用版(本地SSD盘)实例支持此选项。 ( X-Engine兼容InnoDB,而且拥有更好的性能表现,建议您使用X-Engine作为默认存储引擎。) |
参数模板 | 设置实例参数模板。当前仅高可用版(本地SSD盘)实例支持此选项 |
时区 | 设置实例时区。当前仅本地SSD盘实例支持此选项。 |
表名大小写 | 设置实例表名是否区分大小写。当本地数据库区分大小时,您可以选择区分大小写,便于您迁移数据。当前仅本地SSD盘实例支持此选项 |
资源组 | 实例所属的资源组。 |
设置白名单
分类
- 设置IP白名单
- 添加IP地址,允许这些IP地址访问该RDS实例。 默认的IP白名单只包含默认IP地址127.0.0.1,表示任何设备均无法访问该RDS实例
- 通用白名单模式
白名单中的IP地址不区分经典网络和专有网络(既适用于经典网络也适用于专有网络)。有安全风险,建议切换为高安全模式。 - 高安全白名单模式
白名单中区分经典网络的IP白名单分组和专有网络的IP白名单分组。创建IP白名单分组时需要指定网络类型。 - 设置安全组
- 安全组是一种虚拟防火墙,用于控制安全组中的ECS实例的出入流量。在RDS白名单中添加安全组后,该安全组中的ECS实例就可以访问RDS实例。
IP白名单注意事项
- 可以修改或清空默认的IP白名单,但是不能将其删除。
- 实例最多支持200个IP白名单分组。
- 每个IP白名单分组最多添加1000个IP或IP段。当IP较多时,建议合并为IP段填入,例如192.168.1.0/24。
- 当未设置白名单登录DMS时,DMS会提示添加IP才可以正常登录,会自动生成相应的IP白名单分组。
- ali_dms_group(DMS产品IP地址白名单分组)、hdm_security_ips(DAS产品IP地址白名单分组)等分组为使用相关产品时系统自动生成。请勿修改或删除分组,避免影响相关产品的使用。
创建数据库和账号
账号类型
账号类型 | 说明 | 建库数量 | 建表数量 | |
---|---|---|---|---|
高权限账号 | 只能通过控制台或API创建和管理 一个实例中只能创建一个高权限账号,可以管理所有普通账号和数据库。 开放了更多权限,可满足个性化和精细化的权限管理需求,例如可按用户分配不同表的查询权限。 拥有实例下所有数据库的所有权限。 可以断开任意账号的连接。 | 不限 | <20万 | 与实例内核参数相关 |
普通账号 | 可以通过控制台、API或者SQL语句创建和管理。 一个实例可以创建多个普通账号,具体的数量与实例内核有关 。 需要手动给普通账号授予特定数据库的权限。 普通账号不能创建和管理其他账号,也不能断开其他账号的连接。 | 500 | <20万 | 与实例内核参数相关 |
高权限和super权限区别
super:
- 可以kill任何查询的连接。
- 可以使用修改全局变量的SET语句(可以随意改所有参数)。
- 可以使用CHANGE MASTER、PURGE MASTER LOGS命令。
- 可以对主机内文件进行操作。
高权限账号:
- 可以kill普通账号连接
创建账号
创建数据库
登录数据库
使用ECS登录数据库
切回主账号看下远程密码
创建只读实例
注意事项
- 只能在主实例内创建只读实例,不能将已有实例切换为只读实例。
- 由于创建只读实例时是从备实例复制数据,因此不会影响主实例。
- 只读实例的参数不继承主实例上的参数设置,会生成默认的参数值,可以在只读实例的控制台上进行修改。
只读实例数量:
数据量类型 | 内存 | 数量 |
---|---|---|
mysql | ≥64GB | 最多创建10个只读实例 |
mysql | <64GB | 最多创建5个只读实例 |
设置了延时复制的只读实例,无法添加到读写分离中,需要修改为0才可以添加。
释放ECS实例
释放RDS实例