DMDSC搭建手册

第一章 简介

DM DSC为DM共享存储集群,支持故障自动切换和故障自动重加入。特点为:高可用、高吞吐量、负载均衡

DMDSC集群得以实现的重要基础就是共享存储。DM支持的共享存储有两种:裸设备和DMASM。推荐使用后者 。

DMCSS是一款集群控制软件,专门负责监控集群中各个节点的运行状态。

  1. 裸设备:一种没有经过格式化,不被Unix/Linux通过文件系统来读取的特殊字符设备,允许直接访问磁盘而不经过操作系统的高速缓存和缓冲器。因为使用裸设备避免了经过操作系统这一层,数据直接从磁盘到数据库服务器进行传输,所以使用裸设备对于读写频繁的数据库应用来说,可以有效提高数据库系统的性能。但是裸设备的使用有很多限制。裸设备不需要挂载
  2. DMASM: 是一个专用的分布式文件系统。支持多个节点同时访问、修改数据文件,并减少直接使用裸设备存在的诸多限制。
  3. DMCSS: DM集群同步服务的简称,负责集群环境中节点的启动、故障处理、节点重加入等操作。每个集群节点都需要有一个DMCSS服务。这些DMCSS服务又共同构成一个DMCSS集群。单节点应用时,可以不配置CSS。
  4. MAL系统是达梦数据库基于TCP协议实现的一种内部通信机制,具有可靠、灵活、高效的特性。

根据目前的硬件发展状况来看,网络的传输速度比磁盘的读、写速度更快,因此,DMDSC集群引入了缓存交换(Buffer Swap)    技术,节点间的数据页尽可能通过网络传递,避免通过磁盘的写入、再读出方式在节点间传递数据,从而减少数据库的IO等待时间,提升系统的响应速度。

DMDSC搭建手册

与同样使用共享存储的双机热备系统相比,DMDSC具有更快的故障处理速度。双机热备系统故障切换时,需要完整重做Redo日志,所有数据需要重新从磁盘加载;而DMDSC故障处理时,只需要重做故障节点的Redo日志,并且大部分数据页已经包含在处理节点的Buffer缓冲区中,不需要重新从磁盘加载。

DMDSC集群中包含多个数据库实例,与单节点数据库管理系统相比,DMDSC集群可以充分利用多台物理机器的处理能力,支撑更多的用户连接请求,提供更高的吞吐量。DMDSC集群不存在始终保持备用状态的节点,不会造成硬件资源的浪费。

重做日志管理:

Redo日志包含了所有物理数据页的修改内容,Insert/delete/update等DML操作、Create Table等DDL操作,最终都会转化为对物理数据页的修改,这些修改都会反映到Redo日志中。一般说来一条SQL语句,在系统内部会转化为多个相互独立的物理事务来完成,物理事务提交时产生Redo日志,并最终写入联机Redo日志文件中。

一个物理事务包含一个或者多个Redo记录(Redo Record,简称RREC),每条Redo记录都对应一个修改物理数据页的动作。根据记录内容的不同,DMDSC集群中,各个节点拥有独立的日志文件,Redo日志的LSN(日志序号)值也是顺序递增的,Redo日志只会写入当前数据库实例的联机日志文件,与集群系统中的其他数据库实例没有关系。

第二章 准备工作

2.1环境要求

2.1.1 硬件环境

  1. 主机两台。用于部署数据库实例dmserver、DMCSS、DMASMSVR。内存大小要求:至少2GB。
  2. 共享存储。两台机器可以同时访问到的,可以划分为裸设备的磁盘。不少于20G
  3. 网卡。每台主机至少准备2块网卡。提供内部网络和外部网络服务。

2.1.2 软件环境

  1. 操作系统。Linux、Unix、Windows等。
  2. 达梦数据库软件。

 

2.2创建共享磁盘

#在虚拟机1中,新建硬盘

DMDSC搭建手册

***必须选择立即分配所有磁盘空间,虚拟磁盘存储为单个文件

DMDSC搭建手册

#在虚拟机2中,添加已经新建的磁盘

#修改两台虚拟机的XXX.vmx文件,添加 disk.locking="false"

#重启虚拟机,fdisk –l 查看是否添加上

DMDSC搭建手册

2.3共享磁盘上裸设备划分

#在其中一台虚拟机上进行:

  1. 输入 fdisk /dev/sdb
  2. 依次输入 n → p → 1 →回车→ +100M →回车,完成第一块磁盘划分
  3. 依次输入 n → p → 2 →回车→ +100M →回车,完成第二块磁盘划分
  4. 依次输入 n → p → 3 →回车→ +2048M →回车,完成第三块磁盘划分
  5. 依次输入 n → p → 4 →回车→回车→回车,完成第四块磁盘划分
  6. 按w保存退出

前两个分区大小为100M,第三个分区不少于2G(该分区过小可能会出现启动dmserver闪退、创建ASM磁盘组时连接失败等报错)

#查看磁盘划分 fdisk –l /dev/sdb

DMDSC搭建手册

#在所有虚拟机中,编辑/etc/udev/rules.d/XXXXXX.rules文件,添加以下语句:

ACTION=="add", KERNEL=="sdb1", RUN+="/bin/raw /dev/raw/raw1 %N"

ACTION=="add", KERNEL=="sdb2", RUN+="/bin/raw /dev/raw/raw2 %N"

ACTION=="add", KERNEL=="sdb3", RUN+="/bin/raw /dev/raw/raw3 %N"

ACTION=="add", KERNEL=="sdb4", RUN+="/bin/raw /dev/raw/raw4 %N"

ACTION=="add", KERNEL=="raw[1-4]", OWNER="dmdba", GROUP="dmdba", MODE="777"

#完成裸设备绑定:

Linux7:   udevadm trigger --action=add

Linux6:   start_udev 

#通知分区更改, 使kernel重新读取分区信息,从而避免重启系统

partprobe /dev/sdb    

或者使用下列语句:

systemctl restart systemd-udevd.service

systemctl restart systemd-udev-trigger.service

#查看裸设备大小

blockdev --getsize64 /dev/raw/raw1

#验证磁盘信息,能看到raw1-4
ll /dev/raw/raw*

 

第三章 DSC搭建

3.1配置文件

搭建目录为 /data/dsc

#切换dmdba用户

#配置dmdcr_cfg.ini(1节点配置即可)

DCR_N_GRP = 3                  #集群环境包括多少个group,取值范围1~16

DCR_VTD_PATH = /dev/raw/raw2    # Voting Disk路径 第二个磁盘分区

DCR_OGUID = 63635              #消息标识,dmcssm登录dmcss消息校验用

[GRP]    #集群组信息

DCR_GRP_TYPE = CSS           #组类型(CSS\ASM\DB)

DCR_GRP_NAME = GRP_CSS

DCR_GRP_N_EP = 2               #组内节点个数N,最大16

DCR_GRP_DSKCHK_CNT = 60       #磁盘心跳机制,容错时间,单位秒,缺省60S,取值范围5~600

[GRP_CSS]   #节点信息

DCR_EP_NAME = CSS0      #节点名,16 字节,配置文件内不可重复,同一类型节点的 EP_NAME 不能重复

DCR_EP_HOST = 192.168.17.129   #节点IP CSS中设置表示DMCSSM通过该IP连接CSS;

DCR_EP_PORT = 9341  #节点TCP监听端口

[GRP_CSS]

DCR_EP_NAME = CSS1

DCR_EP_HOST = 192.168.17.130

DCR_EP_PORT = 9343

[GRP]

DCR_GRP_TYPE = ASM

DCR_GRP_NAME = GRP_ASM

DCR_GRP_N_EP = 2

DCR_GRP_DSKCHK_CNT = 60

[GRP_ASM]

DCR_EP_NAME = ASM0       # ASM的节点名必须和 dmmal.ini 里的 MAL_INST_NAME 一致

DCR_EP_SHM_KEY = 93360   #共享内存标识,数值类型(ASM有效,初始化共享内存的标识符),应为大于0的4字节整数

DCR_EP_SHM_SIZE = 10     #共享内存大小,单位M,(ASM有效,初始化共享内存大小),取值范围10~1024

DCR_EP_HOST = 192.168.17.129  #节点IP,ASM中设置表示DB通过该IP连接ASM

DCR_EP_PORT = 9349

DCR_EP_ASM_LOAD_PATH = /dev/raw  # ASM磁盘扫描路径,Linux下一般为/dev/raw,文件模拟情况,必须是全路径,不能是相对路径

[GRP_ASM]

DCR_EP_NAME = ASM1

DCR_EP_SHM_KEY = 93361

DCR_EP_SHM_SIZE = 10

DCR_EP_HOST = 192.168.17.130

DCR_EP_PORT = 9351

DCR_EP_ASM_LOAD_PATH = /dev/raw

[GRP]

DCR_GRP_TYPE = DB

DCR_GRP_NAME = GRP_DSC

DCR_GRP_N_EP = 2

DCR_GRP_DSKCHK_CNT = 60

[GRP_DSC]

DCR_EP_NAME = DSC0  # DB的节点名必须和 dm.ini 里的 INSTANCE_NAME 保持一致

DCR_EP_SEQNO = 0 #组内序号,CSS/ASM不能配置,自动分配DB可以配置,0 ~ n_ep -1,组内不能重复,如不配置则自动分配

DCR_EP_PORT = 5236   #节点TCP监听端口, DB的DCR_EP_PORT与dm.ini中的PORT_NUM不一致时,DB端口以   #DCR_EP_PORT为准。若要使用VIP功能,则不同服务器上配置的DCR_EP_PORT要相同

DCR_CHECK_PORT = 9741

[GRP_DSC]

DCR_EP_NAME = DSC1

DCR_EP_SEQNO = 1

DCR_EP_PORT = 5236

DCR_CHECK_PORT = 9742

3.2初始化

使用 DMASMCMD 工具初始化,包含两种方法    (1节点配置即可)

方法一:启动dmasmcmd工具,输入以下命令

create dcrdisk '/dev/raw/raw1' 'dcr'

create votedisk '/dev/raw/raw2' 'vote'

create asmdisk '/dev/raw/raw3' 'LOG0'

create asmdisk '/dev/raw/raw4' 'DATA0'

init dcrdisk '/dev/raw/raw1' from '/data/dsc/dmdcr_cfg.ini' identified by '123456'

init votedisk '/dev/raw/raw2' from '/data/dsc/dmdcr_cfg.ini'

 

方法二:编辑脚本文件 asmcmd.txt

#将脚本上传到/data/dmdbms/dsc目录下

#执行脚本

cd /data/dmdbms/dmdbms/bin

./dmasmcmd script_file=/data/dmdbms/dsc/04_1asmcmd.txt

 

#编辑dmasvrmal.ini(几个节点需相同)

cd /data/dmdbms/dsc/

编辑以下内容:

[MAL_INST1]

 MAL_INST_NAME = ASM0

 MAL_HOST = 192.168.17.129

 MAL_PORT = 7236

 [MAL_INST2]

 MAL_INST_NAME = ASM1

 MAL_HOST = 192.168.17.130

 MAL_PORT = 7237

 

#编辑 dmdcr.ini  (几个节点均需要编辑)

DMDCR_PATH = /dev/raw/raw1

DMDCR_MAL_PATH =/data/dsc/dmasvrmal.ini #dmasmsvr 使用的 MAL 配置文件路径

DMDCR_SEQNO = 0 #不同节点序号不同

#ASM 重启参数,命令行方式启动

DMDCR_ASM_RESTART_INTERVAL = 0

DMDCR_ASM_STARTUP_CMD = /opt/dmdbms/bin/dmasmsvr/dmasmsvr dcr_ini=/data/dsc/dmdcr.ini

#DB 重启参数,命令行方式启动

DMDCR_DB_RESTART_INTERVAL = 0

DMDCR_DB_STARTUP_CMD =  /opt/dmdbms/bin/dmserver path=/data/dsc/DSC01/dm.ini dcr_ini=/data/dsc/dmdcr.ini

#实例名注意

 

#编辑dminit.ini(1节点配置即可)

db_name = dsc

system_path = +DMDATA/data

system= +DMDATA/data/dsc/system.dbf

system_size = 128

roll = +DMDATA/data/dsc/roll.dbf

roll_size = 128

main = +DMDATA/data/dsc/main.dbf

main_size = 128

ctl_path = +DMDATA/data/dsc/dm.ctl

ctl_size = 8

log_size = 256

dcr_path = /dev/raw/raw1 #dcr 磁盘路径,目前不支持 asm,只能是裸设备

dcr_seqno = 0

auto_overwrite = 1

[DSC0]

config_path =/data/dsc/DSC01

port_num = 5236

mal_host = 192.168.17.129

mal_port = 9340

log_path = +DMLOG/log/dsc0_log01.log

log_path = +DMLOG/log/dsc0_log02.log

[DSC1]

config_path =/data/dsc/DSC02

port_num = 5237

mal_host = 192.168.17.130

mal_port = 9341

log_path = +DMLOG/log/dsc1_log01.log

log_path = +DMLOG/log/dsc1_log02.log

3.3启动

#各个节点启动

cd /opt/dmdbms/bin

./dmcss DCR_INI=/data/dsc/dmdcr.ini

./dmasmsvr DCR_INI=/data/dsc/dmdcr.ini

 

#选择一个节点,启动 dmasmtool

./dmasmtool DCR_INI=/data/dsc/dmdcr.ini

create diskgroup 'DMLOG' asmdisk '/dev/raw/raw3'

create diskgroup 'DMDATA' asmdisk '/dev/raw/raw4'

 

#选择一个节点进行初始化

./dminit control=/data/dsc/dminit.ini

 

#将目录拷贝到另外一台服务器上

scp -r DSC02/ dmdba@192.168.17.130:/data/dsc/.

 

#分别启动实例

./dmserver /data/dsc/DSC01/dm.ini dcr_ini=/data/dsc/dmdcr.ini

./dmserver /data/dsc/DSC02/dm.ini dcr_ini=/data/dsc/dmdcr.ini

 

#注册服务

./dm_service_installer.sh -t dmcss -p RAC0 -dcr_ini /data/dsc/dmdcr.ini

./dm_service_installer.sh -t dmasmsvr -p RAC0 -dcr_ini /data/dsc/dmdcr.ini -y DmCSSServiceRAC0

./dm_service_installer.sh -t dmserver -p RAC0 -dm_ini /data/dsc/DSC01/dm.ini -dcr_ini /data/dsc/dmdcr.ini -y DmASMSvrServiceRAC0

 

#启动服务(注意两边需要同时启动)

./DmCSSServiceRAC0 start

./DmASMSvrServiceRAC0 start

./DmServiceRAC0 start

 

上一篇:云小课|DSC 帮您管数据,保障您的云上数据安全


下一篇:hic的ice命令的问题