Oracle 11gR2 GI日常管理手册

2021-09-05 04:40:58

目录
1 文档简介 4
1.1 编写目的 4
1.2 适用范围 4
1.3 名词解释 4
1.4 格式约定 4
1.5 特别说明 4
2 在集群中增加新节点 5
2.1 新节点机器安装环境准备 5
2.1.1 新节点机器与网络存储的连接 5
2.1.2 新节点机器信息 5
2.1.3 存储信息 5
2.1.4 软件版本 6
2.2 安装前配置 6
2.2.1 配置存储 6
2.2.2 创建用户和组 7
2.2.3 检查硬件要求 7
2.2.4 检查网络配置 7
2.2.5 检查内核版本及软件包 8
2.2.6 设置内核参数 8
2.2.7 修改root用户的umask及PATH变量 8
2.2.8 安装cvuqdisk RPM包 8
2.2.9 配置SSH无密码登陆 8
2.2.10 配置Shell Limits 8
2.2.11 检查selinux配置 8
2.2.12 检查NTP时间同步 8
2.2.13 配置OCR和VOTE Disk 8
2.2.14 使用CVU进行安装前检查 8
2.3 安装及配置ASM Lib 9
2.3.1 安装ASMLib软件包 9
2.3.2 配置ASMLib 9
2.3.3 扫描ASM Disk Groups 10
2.4 扩展CRS Home到新节点 10
2.4.1 在CRS Home运行addNode.sh脚本 10
2.4.2 在新节点上运行root.sh脚本加入集群 10
2.4.3 修改新节点上数据库启动脚本的的权限 13
2.5 扩展Oracle Home到新节点 13
2.5.1 新节点上的环境配置 13
2.5.2 使用CVU进行安装前检查 13
2.5.3 在Oracle Home运行addNode.sh脚本 14
2.5.4 在新节点上运行root.sh脚本 14
2.5.5 同步新节点上的oratab文件 14
2.6 扩展资源组的切换域到新节点 15
2.6.1 修改Serverpool成员 15
2.6.2 资源组切换测试 15
3 在集群中删除节点 16
3.1 数据库切换或下线回收 16
3.1.1 数据库切换 16
3.1.2 数据库下线回收 16
3.2 从Oracle Home中删除节点 16
3.2.1 从Oracle Home中删除节点 16
3.3 从CRS Home中删除节点 17
3.3.1 从cluster中删除节点 17
3.3.2 已删除节点机器下线 19
4 参考文档 19
4.1 Oracle Clusterware Administration and Deployment Guide 11g Release 2 19

?
1 文档简介
1.1 编写目的
为Linux数据库平台集群软件Oracle 11gR2 Grid Infrastructure的日常管理提供参考。

1.2 适用范围
该文档的阅读对象为基础架构管理部系统组、存储组、项目组等相关人员。

1.3 名词解释
序号术语/缩略语全称和说明
1 GI Grid Infrastructure的简称，Oracle公司的集群和存储管理软件的统称，包含集群软件Clusterware和存储管理软件ASM。
2 CRS Clusterware的简称，Oracle公司的集群管理软件。
3 ASM Automatic Storage Management的简称，Oracle公司的存储管理软件。

1.4 格式约定
以“#”开头代表root用户；
以“$”开头代表普通用户；
以“>”开头代表DB用户；
以“SQL>”开头代表sqlplus命令；
以“灰色底纹”标注的为命令或输入字符；
以“斜体”标注的为配置文件内容；

“所有节点”表示集群中的所有机器；
“主节点”表示“节点一”，集群中的第一台机器（下面的cnsh230244）。

1.5 特别说明
1、下面的步骤以在二节点（cnsh230244、cnsh230245）集群中新增节点（cnsh230246）和删除节点（cnsh230246）为范例，目的的要详述的操作方法，除方法以外的许多东西会与实际环境存在不同，如存储LUN的数量及大小、用户名、目录名等，实际配置过程中，请严格按照《Oracle 11gR2 集群管理规范.docx》来执行。

2、另本文肯定存在一些错漏的地方，请及时提出并修正，大家共同不断进行完善。

2 在集群中增加新节点
2.1 新节点机器安装环境准备
2.1.1 新节点机器与网络存储的连接

机器连接主网
按照机器标装规则，使用双网卡链路连接到新节点要加入集群的主网。
机器连接心跳网
使用双网卡链路连接到新节点要加入集群的心跳网络。
机器连接SAN存储
1）按照机器标装规则，使用双HBA卡链路连接到新节点要加入集群的SAN存储；

2）将集群中所有的共享LUN扩展到新节点上，使用新节点也可以访问所有的共享LUN。

2.1.2 新节点机器信息
注：cnsh230244、cnsh230245为集群中原有的节点，cnsh230246为要加入集群的新节点。

硬件及OS
主机名机器型号 OS版本内核版本

cnsh230244 HP DL585 G6 RHEL5.4 X86_64 2.6.18-164.9.1.el5
cnsh230245 HP DL585 G6 RHEL5.4 X86_64 2.6.18-164.9.1.el5
cnsh230246 HP DL585 G6 RHEL5.4 X86_64 2.6.18-164.9.1.el5

IP信息
主机名主网IP 节点VIP 心跳网IP SCAN IP

cnsh230244 10.31.9.124 10.31.9.247 1.1.2.1 10.31.9.254
cnsh230245 10.31.9.147 10.31.9.248 1.1.2.2
cnsh230246 10.31.9.152 10.31.9.249 1.1.2.3

2.1.3 存储信息

SAN存储
共享主机 LUN大小(GB) 数量用途要求

cnsh230244
cnsh230245
cnsh230246 1 3 OCRVD_DG 3个LUN在不同的RAID组中

25    2    ACFS_DG    存储采用RAID5或RAID10均可
50    4    DATA_DG    存储采用RAID10
50    4    FRA_DG    存储采用RAID5或RAID10均可

注：将集群中所有共享的LUN扩展到新节点。

本地存储
主机名 LV大小(GB) 数量用途 Mount点说明

cnsh230244 20 1 LVgrid /oracle_grid 用以安装Grid Infrastructure

100    1    LVdata    /data01    临时用以存放安装介质

cnsh230245 20 1 LVgrid /oracle_grid 用以安装Grid Infrastructure

100    1    LVdata    /data01    临时用以存放安装介质

cnsh230246 20 1 LVgrid /oracle_grid 用以安装Grid Infrastructure

100    1    LVdata    /data01    临时用以存放安装介质

2.1.4 软件版本

OS Kernel版本
2.6.18-164.9.1.el5 x86_64
ASM Lib版本
ASMLib-2.6.18-164.9.1.el5-2.0.5-1.el5.x86_64

安装介质：
在sa上的“/data01/oracle/ASMLib-2.6.18-164.9.1.el5-2.0.5-1.el5.x86_64”目录。

Grid Infrastructure版本
11.2.0.2.0

2.2 安装前配置
2.2.1 配置存储

配置本地存储
参看《Oracle 11gR2 GI基本安装手册.docx》中的“3.1.1 配置本地存储”。
配置SAN存储
该部分由存储组进行实施。

配置DM Multipath多链路软件，修改好/etc/multipath.conf配置文件，使新节点看到的LUN信息与原集群中的节点一致。

2.2.2 创建用户和组

创建GI用户和DB用户
1）参看《Oracle 11gR2 GI基本安装手册.docx》中的“3.3 创建用户和组”，建立Grid用户，注意UID和GID需要与其它节点保持一致；

2）参看原集群中的节点，建立所有的Oracle数据库用户，注意UID和GID需要与其它节点保持一致。

设置用户环境变量
1）使用grid用户登陆原集群中节点一，将$HOME目录下的.bash_profile复制到新节点上覆盖同名文件；

2）分别使用各个Oracle用户登陆原集群中节点一，将各个Oracle数据库用户$HOME目录下的.bash_profile复制到新节点上覆盖同名文件。

2.2.3 检查硬件要求
参看“3.4 检查硬件要求”。

2.2.4 检查网络配置
1）主网及心跳网配置如下：
主机名主网网卡主网IP 心跳网网卡心跳网IP
cnsh230246 bond0 10.31.9.152/24 bond1 1.1.2.3/24

2）修改原集群中所有节点hosts文件配置，增加新节点IP相关（红色）的行：
注意：IP与主机名之间必须使用空格，不使用TAB键！

vim /etc/hosts

127.0.0.1 localhost.localdomain localhost
10.31.9.124 cnsh230244
10.31.9.147 cnsh230245
10.31.9.152 cnsh230246

1.1.2.1 cnsh230244-priv
1.1.2.2 cnsh230245-priv
1.1.2.3 cnsh230246-priv

10.31.9.247 cnsh230244-vip
10.31.9.248 cnsh230245-vip
10.31.9.249 cnsh230246-vip
10.31.9.254 clusterware01-scan

3）将修改后的hosts文件复制到新节点上，覆盖同名文件。

4）检查所有节点上的nsswitch.conf配置，这一行应该如下：

cat /etc/nsswitch.conf | grep ^hosts

hosts: files dns

2.2.5 检查内核版本及软件包
参看《Oracle 11gR2 GI基本安装手册.docx》中的“3.6 检查内核版本及软件包”。

2.2.6 设置内核参数
参看《Oracle 11gR2 GI基本安装手册.docx》中的“3.7 设置内核参数”。

2.2.7 修改root用户的umask及PATH变量
参看《Oracle 11gR2 GI基本安装手册.docx》中的“3.8 修改root用户的umask及PATH变量”。

2.2.8 安装cvuqdisk RPM包
参看《Oracle 11gR2 GI基本安装手册.docx》中的“3.9 安装cvuqdisk RPM包”。

2.2.9 配置SSH无密码登陆

配置GI用户无密码登陆
1）使用grid用户登陆原集群中节点一，将$HOME目录下的.ssh目录复制到新节点grid用户的$HOME目录中；

2）测试验证所有节点两两之间grid用户都能够无密码登陆。

配置所有DB用户无密码登陆
1）分别使用各个DB用户登陆原集群中节点一，将$HOME目录下的.ssh目录复制到新节点对应DB用户的$HOME目录中；

2）测试验证所有节点两两之间各个DB用户都能够无密码登陆。

2.2.10 配置Shell Limits
参看《Oracle 11gR2 GI基本安装手册.docx》中的“3.11 配置Shell Limits”。

2.2.11 检查selinux配置
参看《Oracle 11gR2 GI基本安装手册.docx》中的“3.12 检查selinux配置”。

2.2.12 检查NTP时间同步
参看《Oracle 11gR2 GI基本安装手册.docx》中的“3.13 检查NTP时间同步”。

2.2.13 配置OCR和VOTE Disk
OCR及VOTE Disk已经在集群建立时配置好，无需配置。

2.2.14 使用CVU进行安装前检查
1）使用grid用户登陆节点一，运行：
$ cluvfy stage -pre nodeadd -n cnsh230246 -verbose

2）检查的结果有如下两处是failed的，不用理会。
注：其余的都应该是passed，WARNING可以忽略。

Checking for multiple users with UID value 0
PRVF-4132 : Multiple users "root,ada,paxf" with UID "0" exist on "cnsh230246".
Result: Check for multiple users with UID value 0 failed

Checking Oracle Cluster Voting Disk configuration...
ERROR:
PRVF-5449 : Check of Voting Disk location "ORCL:OCRVD_DISK01(ORCL:OCRVD_DISK01)" failed on the following nodes:

    cnsh230246:No such file or directory

ERROR:
PRVF-5449 : Check of Voting Disk location "ORCL:OCRVD_DISK02(ORCL:OCRVD_DISK02)" failed on the following nodes:

    cnsh230246:No such file or directory

ERROR:
PRVF-5449 : Check of Voting Disk location "ORCL:OCRVD_DISK03(ORCL:OCRVD_DISK03)" failed on the following nodes:

    cnsh230246:No such file or directory

PRVF-5431 : Oracle Cluster Voting Disk configuration check failed

2.3 安装及配置ASM Lib
2.3.1 安装ASMLib软件包
参看《Oracle 11gR2 GI基本安装手册.docx》中的“4.1 安装ASMLib软件包”。

2.3.2 配置ASMLib
1）配置ASM，在新节点上操作：

/etc/init.d/oracleasm configure

Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library

The following questions will determine whether the driver is
on boot and what permissions it will have. The current values

will be shown in brackets ('[]'). Hitting without typing an
answer will keep that current value. Ctrl-C will abort.

Default user to own the driver interface []: grid
Default group to own the driver interface []: asmadmin
Start Oracle ASM library driver on boot (y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration: done
Initializing the Oracle ASMLib driver: [ OK ]
Scanning the system for Oracle ASMLib disks: [ OK ]

2）修改/etc/sysconfig/oracleasm，在新节点上操作：
找到以下这二行并修改为：
ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"

2.3.3 扫描ASM Disk Groups
1）重启新节点；
2）在新节点上查看ASM Disks，应该与原集群中的其它节点一致：

oracleasm listdisks

OCRVD_DISK01
OCRVD_DISK02
OCRVD_DISK03
DATA_DISK03
DATA_DISK04
DATA_DISK05
DATA_DISK06
FRA_DISK01
FRA_DISK02
FRA_DISK03
FRA_DISK04
FRA_DISK05
FRA_DISK06
ACFS_DISK01
ACFS_DISK02
DATA_DISK01
DATA_DISK02

2.4 扩展CRS Home到新节点
2.4.1 在CRS Home运行addNode.sh脚本
1）验证所有节点上root用户的umask为022；

2）使用grid用户登陆节点一，运行addNode.sh脚本：
$ export IGNORE_PREADDNODE_CHECKS=Y
$ cd $ORACLE_HOME/oui/bin
$ ./addNode.sh -silent \
"CLUSTER_NEW_NODES={cnsh230246}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={cnsh230246-vip}"

2.4.2 在新节点上运行root.sh脚本加入集群

1）在新节点上使用root运行如下脚本，将cnsh230246添加到cluster中：

/oracle_grid/app/oraInventory/orainstRoot.sh

/oracle_grid/11.2.0/grid/root.sh

2）检查集群的状态，新节点cnsh230246成功加入集群：

$ crsctl stat res -t

NAME TARGET STATE SERVER STATE_DETAILS

Local Resources

ora.ACFS_DG.dg

           ONLINE  ONLINE       cnsh230244
           ONLINE  ONLINE       cnsh230245
           OFFLINE OFFLINE      cnsh230246

ora.DATA_DG.dg

           ONLINE  ONLINE       cnsh230244
           ONLINE  ONLINE       cnsh230245
           OFFLINE OFFLINE      cnsh230246

ora.FRA_DG.dg

           ONLINE  ONLINE       cnsh230244
           ONLINE  ONLINE       cnsh230245
           OFFLINE OFFLINE      cnsh230246

ora.LISTENER.lsnr

           ONLINE  ONLINE       cnsh230244
           ONLINE  ONLINE       cnsh230245
           ONLINE  ONLINE       cnsh230246

ora.OCRVD_DG.dg

           ONLINE  ONLINE       cnsh230244
           ONLINE  ONLINE       cnsh230245
           ONLINE  ONLINE       cnsh230246

ora.acfs_dg.testdb11_lv.acfs

           ONLINE  ONLINE       cnsh230244
           ONLINE  ONLINE       cnsh230245
           OFFLINE OFFLINE      cnsh230246

ora.asm

           ONLINE  ONLINE       cnsh230244               Started
           ONLINE  ONLINE       cnsh230245               Started
           ONLINE  ONLINE       cnsh230246               Started

ora.eons

           ONLINE  ONLINE       cnsh230244
           ONLINE  ONLINE       cnsh230245
           ONLINE  ONLINE       cnsh230246

ora.gsd

           OFFLINE OFFLINE      cnsh230244
           OFFLINE OFFLINE      cnsh230245
           OFFLINE OFFLINE      cnsh230246

ora.net1.network

           ONLINE  ONLINE       cnsh230244
           ONLINE  ONLINE       cnsh230245
           ONLINE  ONLINE       cnsh230246

ora.ons

           ONLINE  ONLINE       cnsh230244
           ONLINE  ONLINE       cnsh230245
           ONLINE  ONLINE       cnsh230246

ora.registry.acfs

           ONLINE  ONLINE       cnsh230244
           ONLINE  ONLINE       cnsh230245
           ONLINE  ONLINE       cnsh230246

Cluster Resources

ora.LISTENER_SCAN1.lsnr

  1        ONLINE  ONLINE       cnsh230244

ora.cnsh230244.vip

  1        ONLINE  ONLINE       cnsh230244

ora.cnsh230245.vip

  1        ONLINE  ONLINE       cnsh230245

ora.cnsh230246.vip

  1        ONLINE  ONLINE       cnsh230246

ora.oc4j

  1        OFFLINE OFFLINE

ora.scan1.vip

  1        ONLINE  ONLINE       cnsh230244

testdb11

  1        ONLINE  ONLINE       cnsh230244

testdb11.db

  1        ONLINE  ONLINE       cnsh230244

testdb11.head

  1        ONLINE  ONLINE       cnsh230244

testdb11.lsnr

  1        ONLINE  ONLINE       cnsh230244

testdb11.vip

  1        ONLINE  ONLINE       cnsh230244

3）上面显示有几个资源没有Online，手工进行启动：
$ crsctl start res ora.ACFS_DG.dg -n cnsh230246
CRS-2672: Attempting to start 'ora.ACFS_DG.dg' on 'cnsh230246'
CRS-2676: Start of 'ora.ACFS_DG.dg' on 'cnsh230246' succeeded

$ crsctl start res ora.DATA_DG.dg -n cnsh230246
CRS-2672: Attempting to start 'ora.DATA_DG.dg' on 'cnsh230246'
CRS-2676: Start of 'ora.DATA_DG.dg' on 'cnsh230246' succeeded

$ crsctl start res ora.FRA_DG.dg -n cnsh230246
CRS-2672: Attempting to start 'ora.FRA_DG.dg' on 'cnsh230246'
CRS-2676: Start of 'ora.FRA_DG.dg' on 'cnsh230246' succeeded

$ crsctl start res ora.acfs_dg.testdb11_lv.acfs -n cnsh230246
CRS-2672: Attempting to start 'ora.acfs_dg.testdb11_lv.acfs' on 'cnsh230246'
CRS-2676: Start of 'ora.acfs_dg.testdb11_lv.acfs' on 'cnsh230246' succeeded

2.4.3 修改新节点上数据库启动脚本的的权限
1）使用root用户登陆新节点，修改各个DB启动脚本目录的权限：

chown -R :oinstall /oracle_grid/11.2.0/grid/crs/public/

chmod -R 755 /oracle_grid/11.2.0/grid/crs/public/

2.5 扩展Oracle Home到新节点
注：如果有多套Oracle软件，则需要分别将其扩展到新节点。下面以testdb11数据库为例。

2.5.1 新节点上的环境配置
1）创建用户和组：
在“2.2.2 创建用户和组”已经创建了新节点的DB用户，不用再实施。

2）配置SSH无密码登陆：
在“2.2.9 配置SSH无密码登陆”已经配置过新节点的GI及所有DB用户无密码登陆，不用再实施。

3）设置环境变量：
在“2.2.2 创建用户和组”已经配置过新节点所有DB用户的环境变量，不用再实施。

4）检查确认DB Home已经挂载：

df -h

……
/dev/asm/testdb11_lv-2

                  10G  4.6G  5.5G  46% /paic/hq/testdb11/data

2.5.2 使用CVU进行安装前检查

1）使用ostestdb11用户登陆节点一，保证安装前检查成功：
$ cd $ORACLE_HOME/oui/bin
$ export SRVM_TRACE=false
$ cluvfy stage -pre nodeadd -n cnsh230246 -verbose

Performing pre-checks for node addition

Checking node reachability...
Check: Node reachability from node "cnsh230244"
Destination Node Reachable?
------------------------------------ ------------------------
cnsh230246 yes
Result: Node reachability check passed from node "cnsh230244"

Checking user equivalence...
Check: User equivalence for user "ostestdb11"
Node Name Comment
------------------------------------ ------------------------
cnsh230246 passed
Result: User equivalence check passed for user "ostestdb11"

WARNING:
Node "cnsh230246" already appears to be part of cluster

Pre-check for node addition was successful.

2.5.3 在Oracle Home运行addNode.sh脚本
1）使用ostestdb11用户登陆节点一，运行addNode.sh脚本：
$ export IGNORE_PREADDNODE_CHECKS=Y
$ cd $ORACLE_HOME/oui/bin
$ ./addNode.sh -silent "CLUSTER_NEW_NODES={cnsh230246}"

2.5.4 在新节点上运行root.sh脚本
1）使用root用户登陆新节点(cnsh230246)，运行root.sh脚本：

/paic/hq/testdb11/data/app/oracle/product/11.2.0/root.sh

Running Oracle 11g root script...

The following environment variables are set as:

ORACLE_OWNER= ostestdb11
ORACLE_HOME=  /paic/hq/testdb11/data/app/oracle/product/11.2.0

Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.

Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Finished product-specific root actions.

2.5.5 同步新节点上的oratab文件
1）在节点一上的/etc/oratab文件中找到该DB的相关行，复制并添加到新节点的/etc/oratab文件中：
testdb11:/paic/hq/testdb11/data/app/oracle/product/11.2.0:N # line added by Agent

2.6 扩展资源组的切换域到新节点
注：根据实际需求进行serverpool设置，下面只是作为操作范例。

2.6.1 修改Serverpool成员

1）使用ostestdb11用户登陆任一节点，在serverpool中新增节点cnsh230246：
$ crsctl modify serverpool testdb11_sp -attr "PARENT_POOLS=Generic, \
SERVER_NAMES=cnsh230244 cnsh230245 cnsh230246"

2.6.2 资源组切换测试
1）资源组运行在cnsh230244上：

$ crsctl stat res -w "NAME st testdb11" -t

NAME TARGET STATE SERVER STATE_DETAILS

Cluster Resources

testdb11

  1        ONLINE  ONLINE       cnsh230244

testdb11.db

  1        ONLINE  ONLINE       cnsh230244

testdb11.head

  1        ONLINE  ONLINE       cnsh230244

testdb11.lsnr

  1        ONLINE  ONLINE       cnsh230244

testdb11.vip

  1        ONLINE  ONLINE       cnsh230244

2）将资源组切换到cnsh230246上：
$ crsctl relocate res testdb11 -n cnsh230246 -f

3）资源组成功切换到cnsh230246上：

$ crsctl stat res -w "NAME st testdb11" -t

NAME TARGET STATE SERVER STATE_DETAILS

Cluster Resources

testdb11

  1        ONLINE  ONLINE       cnsh230246

testdb11.db

  1        ONLINE  ONLINE       cnsh230246

testdb11.head

  1        ONLINE  ONLINE       cnsh230246

testdb11.lsnr

  1        ONLINE  ONLINE       cnsh230246

testdb11.vip

  1        ONLINE  ONLINE       cnsh230246

3 在集群中删除节点
3.1 数据库切换或下线回收
3.1.1 数据库切换
1）如果要删除节点上的数据库要保留在其它节点上运行，则需要查看所有运行在该节点上的数据库，切换到其它节点上运行：
$ crsctl relocate res testdb11 -f

2）修改serverpool设置，使数据库不再运行在该节点上，使用grid用户登陆节点一操作：
$ crsctl stat serverpool
NAME=Free
ACTIVE_SERVERS=
NAME=Generic
ACTIVE_SERVERS=cnsh230244 cnsh230245 cnsh230246
NAME=testdb11_sp
ACTIVE_SERVERS=cnsh230244 cnsh230245 cnsh230246

$ crsctl modify serverpool testdb11_sp -attr "PARENT_POOLS=Generic, \
SERVER_NAMES=cnsh230244 cnsh230245"

$ crsctl stat serverpool
NAME=Free
ACTIVE_SERVERS=cnsh230246
NAME=Generic
ACTIVE_SERVERS=cnsh230244 cnsh230245
NAME=testdb11_sp
ACTIVE_SERVERS=cnsh230244 cnsh230245

3.1.2 数据库下线回收
如果要删除节点上的数据库是要下线的，则需要：
1）在CRS中删除数据库的相关资源；
2）使用dbca删除数据库；
3）删除该数据库的RAC软件；
4）删除其它相关的资源（硬件、存储等），并按流程下线；

3.2 从Oracle Home中删除节点
注：如果有多套Oracle软件，则需要分别对各个Oracle Home进行删除节点操作。
下面以testdb11数据库为例。
3.2.1 从Oracle Home中删除节点
1）使用ostestdb11用户登陆要删除节点(cnsh230246)，更新Inventory：
$ cd $ORACLE_HOME/oui/bin
$ ./runInstaller -updateNodeList ORACLE_HOME=$ORACLE_HOME \
"CLUSTER_NODES={cnsh230246}" -local
注：CLUSTER_NODES参数为要删除的节点名。

Starting Oracle Universal Installer...

Checking swap space: must be greater than 500 MB. Actual 17407 MB Passed
The inventory pointer is located at /etc/oraInst.loc
The inventory is located at /oracle_grid/app/oraInventory/
'UpdateNodeList' was successful.

2）使用ostestdb11用户登陆要删除节点(cnsh230246)，运行detachHome：
$ cd $ORACLE_HOME/oui/bin
$ ./runInstaller -detachHome ORACLE_HOME=$ORACLE_HOME
Starting Oracle Universal Installer...

3）使用ostestdb11用户登陆其它任一节点上，更新inventory：
$ cd $ORACLE_HOME/oui/bin
$ ./runInstaller -updateNodeList ORACLE_HOME=$ORACLE_HOME \
"CLUSTER_NODES={cnsh230244,cnsh230245}"
注：CLUSTER_NODES参数为剩余的所有节点名，多个主机名之间应该使用逗号隔开。

Starting Oracle Universal Installer...

3.3 从CRS Home中删除节点
3.3.1 从cluster中删除节点
1）使用root登陆要删除节点(cnsh230246),运行rootcrs.pl脚本：

cd /oracle_grid/11.2.0/grid/crs/install/

./rootcrs.pl -deconfig -force

2）使用root登陆其它非删除的节点，运行如下命令从cluster中删除节点：

crsctl delete node -n cnsh230246

CRS-4661: Node cnsh230246 successfully deleted.

以下第3)、4)可以直接使用编写的脚本执行

3）使用grid用户登陆要删除节点(cnsh230246)，运行如下命令：
$ cd $ORACLE_HOME/oui/bin
$ ./runInstaller -updateNodeList ORACLE_HOME=/oracle_grid/11.2.0/grid \
"CLUSTER_NODES={cnsh230246}" -local
注：CLUSTER_NODES参数为要删除的节点名。

Starting Oracle Universal Installer...

4）使用grid用户登陆要删除节点(cnsh230246)，运行如下命令：
$ cd $ORACLE_HOME/deinstall
$ ./deinstall -local

注：脚本运行期间会询问关于VIP的设置，直接回车确认即可。直到下面的询问输入“y”回车：
Do you want to continue (y - yes, n - no)? [n]: y

注：期间需要按类似如下的提示在被删除节点上执行命令，完成后按回车：

---------------------------------------->

The deconfig command below can be executed in parallel on all the remote nodes. Execute the command on the local node after the execution completes on all the remote nodes.

Run the following command as the root user or the administrator on node "cnsh230246".

/tmp/deinstall2010-10-29_03-31-49PM/perl/bin/perl -I/tmp/deinstall2010-10-29_03-31-49PM/perl/lib -I/tmp/deinstall2010-10-29_03-31-49PM/crs/install /tmp/deinstall2010-10-29_03-31-49PM/crs/install/rootcrs.pl -force -deconfig -paramfile "/tmp/deinstall2010-10-29_03-31-49PM/response/deinstall_Ora11g_gridinfrahome1.rsp"

Press Enter after you finish running the above commands

<----------------------------------------

注：使用root在新窗口中登陆要删除节点(cnsh230246)：

/tmp/deinstall2010-10-29_03-31-49PM/perl/bin/perl -I/tmp/deinstall2010-10-29_03-31-49PM/perl/lib -I/tmp/deinstall2010-10-29_03-31-49PM/crs/install /tmp/deinstall2010-10-29_03-31-49PM/crs/install/rootcrs.pl -force -deconfig -paramfile "/tmp/deinstall2010-10-29_03-31-49PM/response/deinstall_Ora11g_gridinfrahome1.rsp"

5）使用grid登陆其它非删除的任一节点，更新cluster节点列表：
$ cd $ORACLE_HOME/oui/bin
$ ./runInstaller -updateNodeList ORACLE_HOME=$ORACLE_HOME \
"CLUSTER_NODES={cnsh230244,cnsh230245}" CRS=TRUE
注：CLUSTER_NODES参数为剩余的所有节点名，多个主机名之间应该使用逗号隔开。

Starting Oracle Universal Installer...

Checking swap space: must be greater than 500 MB. Actual 17407 MB Passed
The inventory pointer is located at /etc/oraInst.loc
The inventory is located at /oracle_grid/app/oraInventory/

6）使用grid登陆其它非删除的节点(cnsh230244)，检查节点是否在cluster中已被删除：
$ cd $ORACLE_HOME/oui/bin
$ cluvfy stage -post nodedel -n cnsh230246 -verbose

Performing post-checks for node removal

Checking CRS integrity...
The Oracle clusterware is healthy on node "cnsh230244"
The Oracle clusterware is healthy on node "cnsh230245"

CRS integrity check passed

Result:
Node removal check passed

Post-check for node removal was successful.

3.3.2 已删除节点机器下线
按正常的流程进行存储回收、机器下线。

4 参考文档
4.1 Oracle Clusterware Administration and Deployment Guide 11g Release 2

码农公寓

vim /etc/hosts

cat /etc/nsswitch.conf | grep ^hosts

/etc/init.d/oracleasm configure

oracleasm listdisks

/oracle_grid/app/oraInventory/orainstRoot.sh

/oracle_grid/11.2.0/grid/root.sh

$ crsctl stat res -t

NAME TARGET STATE SERVER STATE_DETAILS

Local Resources

Cluster Resources

chown -R :oinstall /oracle_grid/11.2.0/grid/crs/public/

chmod -R 755 /oracle_grid/11.2.0/grid/crs/public/

df -h

/paic/hq/testdb11/data/app/oracle/product/11.2.0/root.sh

$ crsctl stat res -w "NAME st testdb11" -t

NAME TARGET STATE SERVER STATE_DETAILS

Cluster Resources

$ crsctl stat res -w "NAME st testdb11" -t

NAME TARGET STATE SERVER STATE_DETAILS

Cluster Resources

cd /oracle_grid/11.2.0/grid/crs/install/

./rootcrs.pl -deconfig -force

crsctl delete node -n cnsh230246

以下第3)、4)可以直接使用编写的脚本执行

相关文章