- 一、BCManager
- 二、eBackup 备份
- 三、eReplication 容灾
参考:
一、BCManager
1.1 华为灾备产品演变
备份产品:HyperDP ——> OcenStor BCManager eBackup(目前叫eBackup)
容灾产品:UltraVR ——> OcenStor BCManager eReplication(目前叫BCManager)
1.2 BCManager的作用
OceanStor BCManager是面向企业DC存储容灾业务的管理软件,实现容灾、双活、两地三中心等容灾环境的管理,具备多种数据库应用与虚拟化环境的容灾管理功能。
二、eBackup 备份
2.1 eBackup是什么?
eBackup:华为的一款备份软件,使用了CBT和快照比对技术,可针对FC/Vcenter中的虚拟机提供数据保护,可以精确到对VM的某个磁盘进行保护,文件级别恢复精确度。
2.2 eBackup的作用
- eBackup基于虚拟机/磁盘快照、CBT(Change Block Tracing)和快照比对技术,对虚拟化,公有云,私有云以及混合云四种场景下的数据提供全面的保护。
- eBackup支持虚拟化场景下,虚拟机及磁盘数据的备份恢复。
2.3 eBackup的角色
备份服务器:提供一个web页面,负责备份和恢复等任务的调度与监控,备份存储和生产系统的管理,并直接接收和响应用户的请求(通常主备部署)。
- 一个eBackup备份系统中有且仅有一个备份服务器;
- 备份服务器同时具备备份代理的功能;
备份代理:负责接受备份服务器下发的备份和恢复等任务,与生产系统和备份存储直接交互,用以执行任务。
- 当备份业务多、备份数据量大的时候,建议规划多套备份代理;
- 备份代理接收到备份或恢复任务后,将指令下发给VRM、vCenter或者存储设备;
备份存储:
- 支持CIFS、NFS、SAN;
- 都属于共享存储,某一备份代理损坏,其他的备份代理可以访问;
生产系统:
- FusionCompute:CNA + VRM
- VSphere:VCenter + ESXi
生产存储:
- 虚拟化存储(CBT)
- FusionStorage(快照比对)
2.4 eBackup组件交互
2.5 eBackup的网络平面
管理平面:
- 备份管理平面:管理员终端、备份服务器、备份代理
- 生产管理平面:备份服务器、备份代理、生产系统(如VRM/CNA)
存储平面:
- 生产存储平面:主机节点、生产存储
- 备份存储平面:备份服务器、备份代理、备份存储
内部通信平面:
- 备份服务器与备份代理之间的通信
2.6 eBackup的组网方式
看生产存储平面和备份存储平面是否规划在一起,分两种组网方式:
- LAN-Base:仅支持生产存储为虚拟化数据存储,
- LAN-Free:支持生产存储为虚拟化存储和FusionStorage
2.6.1 LAN-Base
支持存储类型:仅支持生产存储类型为虚拟化数据存储
LAN-Base组网:此类型组网以现有IP网络为基础,配置一台服务器作为备份服务器,由它负责整个系统的备份操作。而备份介质接在某台服务器上,在数据备份时备份对象把数据通过网络传输到备份介质实现备份的。
优点:充分利用现有的IP网络,节省经费,集中备份管理,对设备要求较低。
缺点:占用较大的现有网络带宽,备份性能受限,会占用业务主机的CPU、内存资源。
2.6.2 LAN-Free
支持存储类型:可支持生产存储类型为虚拟化存储和FusionStorage。
LAN-Free组网:此类型组网以SAN网络为基础。基于SAN的备份解决了传统备份方式需要占用LAN带宽的问题,数据流通过后端SAN存储网络传输。
优点:对业务网络影响小,备份性能好。
缺点:FC设备比较贵,会增加对网络的投资,对设备的要求较高,对生产主机性能有影响(CBT技术,在备份的过程中会消耗主机的资源)。
2.6.3 两者区别
-
是否占用LAN网络:LAN-Base备份数据经过LAN网络,而LAN-Free的备份数据只经过SAN网络。
-
支持的生产存储类型:LAN-Base只支持虚拟化存储,而LAN-Free可支持虚拟化存储和FusionStorage。
-
是否需要改造现网:LAN-Base不需要改造(现有LAN网络),LAN-Free需要改造(SAN网络)。
2.7 eBackup使用的技术
2.7.1 CBT
CBT:Change Block Tracerting 改变块追踪技术。该技术通过位图的方式跟踪记录数据块的变化,即标记了自上次备份后发生变化的数据块。在下次备份的时候,根据CBT查找数据有变更的数据块,实现增量备份的功能。
CBT技术在备份中的体现:
- 第一次备份,全量备份。eBackup备份管理系统对磁盘启动第一次备份任务,默认执行全量备份,将磁盘中全部数据进行备份。
- 后续的备份,增量备份。eBackup备份管理系统对磁盘启动后续备份任务,默认执行增量备份。通过生产端提供的CBT方式获取前后两次备份之前的数据变更信息,从磁盘中取出有变更的数据进行备份。
详细解读:
2.7.2 快照比对
快照比对:顾名思义,两个快照之间的差异对比(上一次备份的快照和变更后的快照作对比),以卷地址的形式反映两者之间的数据差异。
快照比对在备份中的体现:
- 第一次备份,全量备份,eBackup备份管理系统对磁盘启动第一次备份任务,默认执行全量备份,将磁盘中的所有数据进行备份。
- 后续的备份,增量备份,eBakcup备份管理系统对磁盘启动后续备份任务,默认执行增量备份,通过比对前后两次快照获取变更数据块,从磁盘中取出变更的数据块进行备份。
2.7.3 两种技术对比
备份方式 | 适用场景 | 对比说明 |
---|---|---|
CBT | FusionSphere(虚拟化存储)、VMware 说明:备份时自动开启CBT功能 |
生产端不保留快照,对存储空间占用比较小;eBackup备份系统获取数据变更信息速度快。 |
快照比对 | FusionSphere(FusionStorage)、存储设备的LUN | 生产端保留快照,对存储空间占用比较大;eBackup备份系统获取数据变更信息速度慢。 |
补充:
- CBT技术通过CBT文件记录版本号,区别增量数据和差异数据。
- CBT技术调用ROW快照技术来定格数据,保证数据一致性。
- 快照比对技术也通过ROW快照技术来定格数据,并记录增量数据,用于下次增量备份。
2.7.4 重删技术
重复数据删除技术:原始数据切块计算指纹值,指纹值相同的数据块只存储一份,大大节约了存储成本。
2.7.5 文件级细粒度恢复
文件级细粒度恢复:仅支持虚拟化存储、仅支持生产主机使用多路径的场景,无需把所有备份数据传回生产段,仅需将需要恢复的文件进行回传。
2.8 eBackup的使用过程
计算侧:
在FusionCompute界面中创建接口对接用户
备份侧:
添加受保护环境(VRM的IP、对接用户的账户密码)
添加备份存储(创建存储单元—>创建存储池—>创建存储库)
添加策略(创建保护集—>添加备份策略—>恢复计划)
当需要恢复时:
按照恢复计划可以立即或者按照周期执行任务。
2.9 eBackup控制流&数据流走向
2.9.1 LAN-Base组网的走向
(存储类型为虚拟化存储,控制流数据流均走LAN网络)
控制流:
管理员Web—【备份管理平面】—> 备份服务器 —【内部通信平面】—> 备份代理 —【生产管理平面】—> VRM —> CNA
由CNA对需要备份的虚拟机下发快照指令,然后原路返回快照所在的数据存储的块设备的SCSI_ID给备份代理。
数据流:
备份代理—【生产管理平面】—> CNA —【生产存储平面】—> 生产存储
由CNA在生产存储获取需要备份的数据,原路返回给备份代理,由备份代理写入备份存储中。
2.9.2 LAN-Free组网的走向
注意:看使用的存储是什么类型的,如果是FusionStorage的话需要和FSM进行交互。
(存储类型为虚拟化存储或FusionStorage,控制流走LAN网络,数据流走SAN网络)
控制流:
管理员Web—【备份管理平面】—>备份服务器—【内部通信平面】—>备份代理—【生产管理平面】—>VRM—>CNA
然后CNA给需要备份的虚拟机下发快照指令,之后返回快照所在的数据存储所对应的数据块SCSI_id。
备注:如果是FusionStorage的话,需要通过生产管理网络和FSM交互,由FSM给FSA下发相应的控制指令。
数据流:
生产存储—【SAN网络】—> 备份代理—【SAN网络】—> 备份存储
备份代理执行写操作,将需要备份的数据写入备份存储中。
控制流的最后会返回一个SCSI_id,然后备份代理会尝试通过iSCSI连接生产存储获取数据执行写备份操作。
2.10 eBackup备份流程
操作流程分为两大阶段:
- 准备环境:
- 增加受保护环境
- 创建存储单元
- 创建存储池
- 备份
- 创建存储库
- 创建保护集
- 创建备份策略
- 创建备份计划
三、eReplication 容灾
3.1 eReplication是什么?
eReplication:eReplication是一款基于华为存储复制、快照、双活、克隆以及FusionSphere主机复制等特性,保证上层应用数据一致性,针对华为典型容灾解决方案,提供可视化、流程化、简单、快捷的操作与监控平台的灾备管理软件。
3.2 eReplication组网方式
3.2.1 主机层复制
应用场景:
- 无法使用存储层复制
- 保护的最小单位为虚拟机
- 被保护的对象为服务器虚拟化场景中的虚拟机
3.2.2 存储层复制
应用场景:
- 生产站点和容灾站点同为华为存储
- 保护的最小单位为LUN
- 实现同步远程复制(RPO=0)
- 被保护的为私有云场景下的虚拟机
3.2.3 两者区别
- 主机层复制要求是FusionCompute;存储层复制要求两边是华为存储。
- 主机层复制的VRG是周期复制,RPO>0;存储层复制可以同步/异步远程复制,如果是同步远程复制,RPO=0。
- 主机层复制要求两端的VRG复制网络平面能通信;存储层复制要求两端存储平面能通信。
- 主机层复制VRG需要占用一定的资源。
- 主机层复制BCManager需要管理VRG;存储层复制BCManager需要管理存储。
- 主机层复制保护对象是虚拟机(更为灵活);存储层复制保护的对象是LUN。
3.4 容灾相关技术
3.3.1 IO Mirror
IO Mirror:通过虚拟化平台主机层进行IO捕获与复制,实现数据的远程复制(主机层)。
3.3.2 远程复制
远程复制:基于LUN级的数据镜像远程复制,分为同步/异步远程复制(存储层)。
3.3.3 HyperMetro
HyperMetro:在两个数据中心各部署一套华为OceanStor V3/V5存储,部署为双活模式,为两数据中心业务主机提供读写服务,若任意数据中心故障,数据零丢失(存储层)。
3.5 容灾中的概念
3.5.1 站点
站点:容灾管理系统的资源组织单位,用户可以在站点内或站点间配置容灾保护业务。
- 按位置划分为:本端站点、远端站点。
- 按角色划分为:生产站点、灾备站点。
3.5.2 主机和主机组
主机:生产/灾备站点中的应用服务器,分为生产主机和灾备主机。
主机组:同类主机的集合,通常时同一个型号、同样OS版本、同种业务类型等...
3.5.3 保护组
保护组:容灾系统进行容灾保护的业务对象。
- 由保护对象和保护策略组成。
- 可分别为数据块、本地主机文件系统、LUN、NAS、VM等各种对象创建保护组。
3.5.6 保护对象
保护对象:以保护组为LUN为例,保护对象就是某个站点下某个数据存储的LUN。
3.5.5 保护策略
(以保护组为LUN为例子)
保护策略:容灾系统对保护对象进行容灾保护的方式和调度策略,创建保护组的时候自动生成。
3.5.6 恢复计划
恢复计划:容灾系统进行容灾恢复的业务对象。
3.5.7 VRG
VRG:Virtual Replication GateWay 虚拟复制网关
-
加密、压缩VM的IO,周期性打包发送到远端站点。
-
接受远端站点数据,并将数据路由发送到指定的主机。
-
提供复制策略下发、状态查询等管理接口。
3.5.8 占位虚拟机
占位虚拟机:与保护虚拟机配置、规格一致的一台VM。
- 占位虚拟机只有CPU、内存,没有硬盘。
- 当被保护的虚拟机挂了的时候,占位虚拟机会挂载容灾节点用于和生产站点进行数据同步的LUN,然后启动,将数据拉起来。
3.6 容灾配置流程
3.7 容灾相关概念
3.7.1 容灾测试与清理
容灾测试与清理:在灾备站点给从生产段同步过来的数据做一个快照副本,映射到业务主机,测试看能否正常拉起业务。测试完后清理掉这个快照副本,不占用灾备站点的空间。
3.7.2 故障恢复
故障恢复:生产服务器挂了后,将灾备存储设置为可写,映射LUN恢复业务。
3.7.3 计划性迁移
计划性迁移:当生产站点即将停机(更新或者测试),将生产站点的数据同步到灾备站点,利用灾备站点临时对外提供服务,将生产站点关闭。
3.7.4 重保护
重保护:一般建立在计划性迁移的基础上,进行生产站点和容灾站点角色的切换。
3.8 容灾全景图
华为容灾全景图:根据保护距离、范围分为三个层次的容灾保护方案
3.8.1 本地生产中心
本地容灾方案:本地生产中心内的两个机房、两个机柜之间做容灾系统。
-
本地高可用方案:使用HyperMetro技术,两套系统同时提供业务。
- HyperMetro双活,RPO=0,RTO=0。
-
主备容灾解决方案(同步):使用同步远程复制技术,一主一备。
- 同步远程复制,RPO=0,RTO>0。
3.8.2 同城生产中心
同城容灾方案:同个城市的两个数据中心,相距不超过300KM的容灾系统。
-
同城双活解决方案:使用HyperMetro技术,两套系统同时提供业务。
- HyperMetro双活,RPO=0,RTO=0。
-
虚拟化网关复制方案:通过VRG,实现主机层复制。
- VRG周期性同步,RPO>0,RTO>0。
-
主备容灾解决方案(同步/异步):使用同步或异步远程复制技术,一主一备。
- 同步远程复制,RPO=0,RTO>0。
- 异步远程复制,RPO>0,RTO>0。
-
三镜像容灾解决方案:Smartvirtualization + Hypermirro + Hypermetro
3.8.3 远程生产中心
远程容灾解决方案:距离大于300KM,可超过3000KM的远程容灾系统。
-
虚拟化网关复制方案:通过VRG,实现主机层复制。
- VRG周期性同步,RPO>0,RTO>0。
-
主备容灾解决方案(异步):使用异步远程复制技术,一主一备。
- 异步远程复制,RPO>0,RTO>0。
-
云容灾解决方案:通过云容灾服务进行容灾保护。
-
两地三中心容灾解决方案:两个城市,三个数据中心。
- 级联:本地——同城——远程。
- 并联:本地——同城,本地——远程。