关键字:
KingbaseFlySync、KingbaseES、Linux、x86_64、mips64el、aarch64、Java
管控平台:
Web管控平台(Manager、Console、Compare组件)
Manager(服务中心,对Console和Compare提供注册服务)
Console管理控制台(必须注册到Manager后才能使用,提供Web管理服务)
用户和角色管理
实时状态监控
图形化数据搬迁
KFS图形化部署(部署KFS同步服务程序)
Comare比对服务(必须主测到Manager后才能使用,提供Compare数据校验比对功能)
图形化数据校验比对
Console元信息数据库
作为Web管理界面的后台数据库,存储用户角色信息,监控状态信息等内容
Compare元信息数据库
作为数据比对服务后台数据库,存储比对的数据和结果等内容
Web管控平台与KFS服务端的关系:
KFS服务端可独立于Web管控平台单独运行,实时同步业务与Web管控平台无关系,源端目标端实例服务启动后,自动开始实时同步;且支持命令行的数据搬迁;
Web管控平台也可独立于KFS服务端单独运行,通过在web平台添加源端目标端的节点信息,将KFS服务端与WEB监控平台关联起来,实现对KFS同步服务的监控和数据统计;并提供图形化的数据搬迁功能以及数据校验功能;
适用说明:
KingbaseFlySync V1R6管控平台Linux命令行安装,用于KFS业务上线前部署安装以及测试。
本测试文档适用于KingbaseFlySyncV1R5、V1R6版本,其他版本使用前请在线下测试。
部署前请参考KingbaseFlySync具体部署版本的产品手册《Kingbase FlySync 部署前评估指南》进行评估,规避安装部署中风险与问题。
案例说明:
此次测试案例用于KingbaseFlySync V1R6 控制台安装,主要分为两个步骤:
1、 安装前环境准备。
2、 管控平台命令行安装。
操作系统和数据库版本:
1)操作系统环境
CentOS Linux release 7.5.1804 (Core)
2)金仓异构数据同步软件
Kingbase FlySync V001R006B20210817
前期准备:
1、 管控平台服务器(192.168.4.148)。
2、 在管控平台服务器已安装KingbaseES V008R006C003B0062元数据库。
2、 关闭新增节点防火墙和selinux并启动crond服务。
一、安装前环境准备
1.1 检查操作系统版本
请用户根据 Kingbase FlySync 的环境支持列表检查并确定操作系统版本符合要求,具体检查方法此处不赘述。
1.2 检查网络环境和网络端口
Kingbase FlySync 默认使用的端口:
端口 | 备注 |
---|---|
8089 | Kingbsae FlySync 管控平台默认监听端口 |
8090 | Kingbsae FlySync 服务中心默认监听端口 |
8091 | Kingbsae FlySync 比对服务默认监听端口 |
为了使需要进行同步的两端设备可以保持正常通信,请确认以上端口检查配置打开,若同步环境存在防火墙配置,需要确保以上端口通信的畅通。同时需要确保本地 localhost 端到端回环通信连接未受到限制。不同用户环境的安全规则设置各有不同,需要用户另行根据实际情况配置,本文档不作赘述。
1.3 物理机器配置配置系统帐号
Kingbase FlySync 部署之前,需要建立独立的运行帐号.
[root@dn02 ~]# sudo adduser flysync
将元数据库的安装用户Kingbase 的属组kingbase赋予 Kingbase FlySync 帐号。
[root@dn02 ~]# sudo usermod -G kingbase flysync
使用新帐号登录
执行命令
[root@dn02 ~]# su - flysync
1.3.1 在配置用户环境用户环境配置包括对以下几个部分配置检查和确认
1. 系统属性检查及配置
ulimit 用于限制 shell 启动进程所占用的资源。因 Kingbase FlySync 在运行时,会需要打开大量的文件句柄,所以需要检查一下系统相关的 ulimit 属性参数是否能够满足要求:
[flysync@dn02 ~]$ ulimit -a # 执行该命令,资源限制详情如下
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
max locked memory (kbytes, -l) unlimited
max memory size (kbytes, -m) unlimited
open files (-n) 256
pipe size (512 bytes, -p) 1
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 709
virtual memory (kbytes, -v) unlimited
Kingbase FlySync 进程涉及的几个限制包括最大文件句柄数(open files)、允许创建的最大进程数量(max user processes),以上示例表明,open files 和 max user processes 的参数值不符合运营配置要求,可通过修改 /etc/security/limits.conf 配置文件进行调整。
[root@dn02 ~]# vi /etc/security/limits.conf
在文件末尾添加以下内容:
flysync - nofile 65535
flysync - nproc 8096
其中:
– 第 1 列表示配置的 OS 用户名(根据实际用户修改)
– 第 3 列表示配置的属性(nofile 表示打开文件数,nproc 表示打开的进程数)
– 第 4 列表示配置的数值
完成修改后,退出当前 session,重新登录。再次通过命令“ulimit -a”检查配置是否生效。
2. hosts 文件配置
为了保证后续系统的正常部署和运行,必须为后续参与同步操作的每个机器配置机器名,修改 /etc/hosts 文件,例如:若有 3 个物理设备,需要参与同步操作,配置如下:
[root@dn02 ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.4.147 dn01
192.168.4.148 dn02
192.168.4.149 dn03
– 确认其他机器的 IP 地址是否正确
[root@dn02 ~]# nslookup dn01
[root@dn02 ~]# ping dn01
[root@dn02 ~]# nslookup dn03
[root@dn02 ~]# ping dn03
1.3.2时钟同步检查
查看参与数据同步的两端所在物理机器的当前系统时间,需要保证时间彼此一致,否则可能会造成同步程序工作异常。
1.3.3 系统部署依赖软件检查
系统安装部署依赖软件检查表(根据实际情况参照):
软件 | 版本 | 备注 |
---|---|---|
jdk | 1.8 及以上 | 必须 |
Kingbase | V8R6 | Kingbase FlySync 管控平台运行所需依赖(视情况检查) |
二、Linux 平台手动安装
2.1 安装前准备
管控平台手动部署采用独立的压缩包。
1. KingbaseFlySync-V001R006C002B20210817-manager.tar.gz
2. KingbaseFlySync-V001R006C002B20210817-console.tar.gz
3. KingbaseFlySync-V001R006C002B20210817-compare.tar.gz
2.2 解压缩手动部署安装包
管控平台采用独立的压缩包,直接通过命令行解压即可。
[root@dn02 ~]# cd /opt/
[root@dn02 opt]# mkdir KFS
[root@dn02 opt]# chown flysync:flysync KFS/ -R
[root@dn02 ~]# su - flysync
[flysync@dn02 KFS]$ tar -zxvf KingbaseFlySync-V001R006C002B20210817-console.tar.gz
[flysync@dn02 KFS]$ tar -zxvf KingbaseFlySync-V001R006C002B20210817-manager.tar.gz
[flysync@dn02 KFS]$ tar -zxvf KingbaseFlySync-V001R006C002B20210817-compare.tar.gz
[flysync@dn02 KFS]$ mv KingbaseFlySync-V001R006C002B20210817-compare compare
[flysync@dn02 KFS]$ mv KingbaseFlySync-V001R006C002B20210817-console console
[flysync@dn02 KFS]$ mv KingbaseFlySync-V001R006C002B20210817-manager manager
2.3 元数据库配置:
1 控制台元数据库配置。
控制台元数据库支持内置 Derby、MySQL 及 KingbaseES V8 作为后台元数据库。本文使用 KingbaseES V008R006C003B0062 数据库作为元数据库的配置方式如下:
1.1 创建元数据库(其工作模式必须是oracle兼容)
CREATE DATABASE "flysync_console";
1.2 将 Kingbase 库的 sql 文件 flysync-console-kingbase.sql 导入到 KingbaseESV8 的库中 (要导入到 V8 库的默认模式下,默认为 PUBLIC),其中 ${USER}、${PASSWORD}、${sql 文件路径}根据实际情况修改。flysync-console-kingbase.sql 默认在解压后根目录下。
./ksql -U ${USER} -W ${PASSWORD} -d flysync-console -p 54321 -f ${sql 文件路径};
[kingbase@dn02 bin]$ ./ksql -U system -W -d flysync_console -p 54321 -f /opt/KFS/console/flysync-console-kingbase.sql
1.3 修改配置文件
在一台window系统机器上解压缩KingbaseFlySync-V001R006C002B20210817-console.tar.gz
在解压缩目录KingbaseFlySync-V001R006C002B20210817-console\lib下,解压flysync-console.jar 文件。
找到:
BOOT-INF/classes/application-kingbase.properties
打开后修改数据库连接地址:
spring.datasource.url=jdbc:kingbase8://127.0.0.1:54321/flysync_console?database=:oracle:
spring.datasource.username=system
spring.datasource.password=123456
找到:
BOOT-INF/classes/application.properties
打开后修改元数据库信息:
spring.profiles.active=kingbase
1.4 上传配置文件
将修改好的配置文件application-kingbase.application.properties上传到管控平台服务器的/opt/KFS/console/conf目录。
2.2 比对服务元数据库配置。
比对服务元数据库支持内置 MySQL 及 KingbaseES V8 作为后台元数据库。本文使用KingbaseES V008R006C003B0062作为元数据库的配置方式如下:
2.1 创建元数据库(其工作模式必须是oracle兼容)
CREATE DATABASE "flysync_compare";
2.2 将 Kingbase 库的 sql 文件 flysync-compare-kingbase.sql 导入到 KingbaseESV8 的库中 (要导入到 V8 库的默认模式下,默认为 PUBLIC),其中 ${USER}、${PASSWORD}、${sql 文件路径}根据实际情况修改。flysync-console-kingbase.sql 默认在解压后根目录下。
[kingbase@dn02 bin]$./ksql -U system -W -d flysync_compare -p 54321 -f /opt/KFS/compare/flysync-compare-kingbase.sql
2.3 修改配置文件
在一台window系统机器上解压缩KingbaseFlySync-V001R006C002B20210817-compare.tar.gz
在KingbaseFlySync-V001R006C002B20210817-compare\lib下,解压缩kfs-compare.jar文件
找到:
BOOT-INF/classes/application-kingbase.properties
打开后修改数据库连接信息:
spring.datasource.url=jdbc:kingbase8://127.0.0.1:54321/flysync_compare?database=:oracle:
spring.datasource.username=system
spring.datasource.password=123456
找到:
BOOT-INF/classes/application.properties
打开后修改元数据库信息:
spring.profiles.active 的参数为 kingbase
2.4 上传配置文件
将修改好的配置文件application-kingbase.application.properties上传到管控平台服务器的/opt/KFS/compare/conf目录。
2.5 jdbc驱动拷贝
放置 jdbc 到 lib 目录下:
[flysync@dn02 compare]$cd /opt/KFS/compare
[flysync@dn02 compare]$cp extensions/jdbc/kingbase8-8.6.0.jar lib/
2.4 安装产品 License 授权文件
需将产品提供的 license.dat 文件复制到管控平台的安装目录/opt/KFS/下。
[flysync@dn02 KFS]$ cp /home/flysync/license.dat /opt/KFS/license.dat
2.5 启动管控平台
Kingbase FlySync 的管控平台启动命令
[flysync@dn02 ~]$/opt/KFS/manager/bin/fsmanager start
[flysync@dn02 ~]$/opt/KFS/console/bin/fsconsole start
[flysync@dn02 ~]$/opt/KFS/compare/bin/fscompare start
注意:
Kingbase FlySync 的管控平台停止命令
[flysync@dn02 ~]$/opt/KFS/manager/bin/fsmanager stop
[flysync@dn02 ~]$/opt/KFS/console/bin/fsconsole stop
[flysync@dn02 ~]$/opt/KFS/compare/bin/fscompare stop
Kingbase FlySync 的管控平台状态查看命令
[flysync@dn02 ~]$/opt/KFS/manager/bin/fsmanager status
[flysync@dn02 ~]$/opt/KFS/console/bin/fsconsole status
[flysync@dn02 ~]$/opt/KFS/compare/bin/fscompare status
? 服务中心日志路径
/opt/KFS/manager/log/fsmanagersvc.log # 服务运行信息,包括终端输出,故障重启等
/opt/KFS/manager/log/flysync-manager.log # 服务中心内部日志
? 管理控制台日志路径
/opt/KFS/console/log/fsconsolesvc.log # 服务运行信息,包括终端输出,故障重启等
/opt/KFS/console/log/flysync-console.log # 管理控制台平台内部日志
? 比对服务日志路径
/opt/KFS/compare/log/fscomparesvc.log # 服务运行信息,包括终端输出,故障重启等
/opt/KFS/compare/log/flysync-compare.log # 比对服务内部日志
2.6 访问管控平台
启动管控平台后,用谷歌浏览器打开默认登录地址http://192.168.4.148:8089/。
默认帐号密码为:admin/admin
2.7 配置开机自启(可选)
根据客户需求配置管控平台服务开机自启:
[flysync@dn02 ~]$/opt/KFS/manager/bin/fsmanager install
参考文档:
《Kingbase FlySync 安装部署手册》