MySQL-NDB7.6集群软件升级

注意事项

  • 由于磁盘文件格式发生改变,升级或降级到下面任一版本时,需要将每个数据节点重新初始化

    • NDB 7.6.2中为NDB磁盘数据表引入了一种新的文件格式,这使得可以在不重复使用任何表ID的情况下唯一标识每个磁盘数据表。该格式在NDB 7.6.4中得到了进一步改进
      • NDB 7.6.2
      • NDB 7.6.4
    • 应重新创建任何现有的表空间并撤消日志文件组
      • 通过--initial在升级过程中对每个数据节点执行一次初始重启来完成此操作
  • 据内存池和动态索引内存

    • 索引所需要的内存通过动态分配(内存值由DataMemory参数指定),因此不建议在config.ini文件中设置IndexMemory参数项
    • 在特定的系统环境(如需要大量缓冲区,大量数据加载 等系统)中,需要指定SharedGlobalMemory参数,增加事务内存

软件升级流程

滚动升级(在线)

  • 备份数据库

  • 检查版本兼容性及新特性

  • 滚动更新

    • 先在每个SQL节点更新

    • (创建新config.ini文件)安装新版本软件

    • 其次,在管理节点服务器上,执行ndb_mgmd --reload 选项启动服务

    • 然后,在每个数据节点执行ndb(or ndbmtd) 启动服务

      • 启动时带上--initial 选项:强制清除待升级数据节点上文件,并从其他数据节点重新加载所有NDB Cluster数据和元数据
      • 通过ndb_mgm客户端执行start backup命令备份数据,升级软件后,使用ndb_restore将数据还原到一个或多个数据节点上
      • 升级前使用mysqldump创建一个数据备份,升级后,通过load data 的方式恢复数据
        • mysqldump --no-data --triggers --routines <DB> > <DB>.sql
  • 更新系统表

详细步骤(在线)

备份数据库
使用 ndb_mgm 客户端方式备份
ndb_mgm -e "START BACKUP"

# 还原 ndb_restore 
## ndb_restore -n 1 -b 1 -r /path/to/BACKUP-1 -f --include-table='mysql.ndb_apply_status'
## ndb_restore -n 2 -b 1 -r /path/to/BACKUP-1 -f --include-table='mysql.ndb_apply_status' 
mysql.ndb_binlog_index 中获取 binlog 信息
SELECT * FROM mysql.ndb_apply_status;

SELECT SUBSTRING_INDEX(File, '/', -1) AS Master_Log_File , Position AS Master_Log_Pos
FROM mysql.ndb_binlog_index WHERE epoch > 217458489163782 /* 上面查询得到的 epoch 的值 */
ORDER BY epoch ASC LIMIT 1;

-- CHANGE MASTER TO MASTER_LOG_FILE="master-bin.00001",MASTER_LOG_POS=305976;
备份将每个SQL节点的binlog日志文件
#  利用系统工具如:tar, scp等备份binlog日志文件
用mysqldump 工具备份权限表
通过mysqldump工具备份数据
mysqldump --no-data --triggers --routines --events mydb > schema_mydb.sql
检查软件的兼容性
  • 检查 MysQL NDB Cluster 软件的兼容性
  • 检查 MysQL NDB Cluster 软件变更历史
  • 检查 MySQL Server 版本变更历史情况
滚动更新(每个节点)
  • 停止节点上服务进程
  • 替换相关二进制文件
  • 用新版本软件启动节点上服务进程
更新SQL 节点
# 1. 关闭SQL节点
service stop mysqld3308

# 2. 更新软件 ndbd or ndbmtd
SOFT_FILE_NAME="mysql-cluster-gpl-7.6.17-linux-glibc2.12-x86_64.tar.gz"
unlink ${SOFT_LINK_DIR}
tar -xf ${SOFT_FILE_NAME}.tar.gz --no-same-owner -C ${SOFT_INSTALL_DIR}
ln -s ${SOFT_INSTALL_DIR}/${SOFT_FILE_NAME} ${SOFT_LINK_DIR}

# 3. 启动服务
service start mysqld3308
更新管理节点
# 1. 关闭管理节点
## ndb_mgm -e "SHOW" -c <connect-string>
## ndb_mgm -e "<mgm-nodeid> STOP" -c <connect-string>
ndb_mgm -e "100 stop"

# 2. 更新 ndb_mgmd 和 ndb_mgm 文件
cp ${SOFT_LINK_DIR}/bin/ndb_mgmd{,bak}
cp ${SOFT_LINK_DIR}/bin/ndb_mgm{,bak}

# 3. 启动管理节点进程服务
${SOFT_LINK_DIR}/bin/ndb_mgmd -f ${SOFT_LINK_DIR}/config.ini --configdir=${DATA_DIR}  --reload
更新数据节点
# 1. 关闭数据节点
## ndb_mgm -e "<data-nodeid> STOP" -c <connect-string>
ndb_mgm -e "1 stop"

# 2. 更新软件 ndbd or ndbmtd
cp ${SOFT_LINK_DIR}/bin/ndbd{,bak}
cp ${SOFT_LINK_DIR}/bin/ndbmtd{,bak}

# 3. 启动服务
${SOFT_LINK_DIR}/bin/ndbd --initial
更新系统表信息

待完成上面软件更新之后,执行 mysql_upgrade 更新系统表

mysql_upgrade -uroot -p -P3308

离线更新|降级详细步骤

备份数据库

同上

检查兼容性和新特性
停止所有节点服务
停止SQL 节点
service mysqld3308 stop
停止NDB Cluster
ndb_mgm -e "SHUTDOWN" -c <connect-string>
变更所有节点软件
SQL 节点
SOFT_FILE_NAME="mysql-cluster-gpl-7.6.17-linux-glibc2.12-x86_64.tar.gz"
unlink ${SOFT_LINK_DIR}
tar -xf ${SOFT_FILE_NAME}.tar.gz --no-same-owner -C ${SOFT_INSTALL_DIR}
ln -s ${SOFT_INSTALL_DIR}/${SOFT_FILE_NAME} ${SOFT_LINK_DIR}
管理节点

数据节点

启动NDB 集群
启动管理节点
${SOFT_LINK_DIR}/bin/ndb_mgmd -f ${SOFT_LINK_DIR}/config.ini --configdir=${DATA_DIR} --initial -c <connect-string>
启动数据节点
${SOFT_LINK_DIR}/bin/ndbd 
启动SQL节点
service mysqld3308 start
运行mysql_upgrade更新系统表
mysql_upgrade
验证集群表和数据

有必要时,通过 ndb_restore 工具导入备份数据

ndb_restore [-c connection_string] -n node_id -b backup_id \
      [-m] -r --backup-path=/path/to/backup/files
上一篇:软件定时器


下一篇:Hive安装部署