今天处理了一起因异步IO没有开启导致Oracle的SQL*Plus不可用的故障。记录在此，供参考。

1.故障场景
情况是这样的，系统是使用IBM的HACMP做的两节点HA，在第一个节点部署完Oracle（11.1.0.6）并在挂载的存储上创建完数据库后，使用tar方法将第一个节点上的Oracle软件解tar到第二个节点上完成软件安装。但当在第二节点上运行SQL*Plus时抛出如下的错误：
$ sqlplus / as sysdba
exec(): 0509-036 Cannot load program sqlplus because of the following errors:
        0509-130 Symbol resolution failed for /usr/lib/libc.a[aio_64.o] because:
        0509-136  Symbol kaio_rdwr64 (number 0) is not exported from
                  dependent module /unix.
        0509-136  Symbol listio64 (number 1) is not exported from
                  dependent module /unix.
        0509-136  Symbol acancel64 (number 2) is not exported from
                  dependent module /unix.
        0509-136  Symbol iosuspend64 (number 3) is not exported from
                  dependent module /unix.
        0509-136  Symbol aio_nwait (number 4) is not exported from
                  dependent module /unix.
        0509-150  Dependent module libc.a(aio_64.o) could not be loaded.
        0509-026 System error: Cannot run a file that does not have a valid format.
        0509-192 Examine .loader section symbols with the
                'dump -Tv' command.

2.故障原因
从报错信息中很容易发现到处都充斥的“aio”关键字，AIO = Asynchronous I/O 顾名思意“异步I/O”是也。
根本原因是AIX操作系统的异步I/O没有开启。

3.故障处理
既然定位了问题，处理就简单了，这里给出两种异步I/O的开启方法。
1）使用操作系统命令开启异步I/O
（1）确认所需的bos.rte.aio是否安装妥当
# lslpp -l bos.rte.aio
  Fileset                      Level  State      Description         
  ----------------------------------------------------------------------------
Path: /usr/lib/objrepos
  bos.rte.aio               5.3.0.62  COMMITTED  Asynchronous I/O Extension

（2）使用如下命令开启AIX操作系统的异步I/O
# mkdev -l aio0
aio0 Available

# chdev -P -l aio0 -a autoconfig='available'
aio0 changed

2）使用rootpre.sh脚本开启异步I/O
如果您能找到rootpre.sh，直接执行这个脚本便可达到开启异步I/O的目的。
可气的是在64-bit IBM RS 6000 AIX 5L版本的Oracle 11.1.0.6.0的安装介质里面根本无法找到这个rootpre.sh脚本，在安装开始时也不会像以前一样提示进行这样的check。这是Oracle的一个internal bug。竟然被遗忘了，这一点在MOS中有详细记载，ML号是468472.1，文章名字是：The "rootpre.sh" Script. And "rootpre" Directory Are Missing From The Oracle11g Release 1 (11.1.0.6) Media。文中给出了三种处理方法：
第一种方法：从OTN上下载被遗漏的rootpre.sh脚本；
下载地址是：http://download.oracle.com/otn/aix/oracle11g/rootpre_aix.zip
第二种方法：使用10.2.0.1安装介质中的rootpre.sh亦可；
第三种方法：下载patch 6613550，执行其中提供的rootpre.sh脚本。

最后摘录一下rootpre.sh脚本中有关异步I/O设置的内容，方便大家参考。
#====================================================================================
#======================= configure Asynchronous I/O =================================
#====================================================================================

#--- function to check the autoconfig value on an AIO device
is_autoconfig_available () {
   DEVICE=${1}
   VALUE=`$LSATTR -E -l ${DEVICE}|${GREP} autoconfig|${AWK} '{print $2}'`
   if [ "${VALUE}" = "available" ]; then
      return 1
   else
      return -1
   fi
}

#--- In AIX 6.1 and newer AIO is already configured and ioo is used,
#---    not chdev to modify AIO configuration
if [ $OSVER -lt 6 ]; then
  log_con "\nConfiguring Asynchronous I/O...."
  AIO=`${LSDEV} -C -t aio|${AWK} '{print $2}'`
  case ${AIO} in
    *Available*) log_con "Asynchronous I/O is already defined"
               is_autoconfig_available "aio0"
               if [ $? -ne 1 ]; then
                  log_con "Setting autoconfig to available for aio0"
                  log_do "${CHDEV} -P -l aio0 -a autoconfig=available"
               fi
               ;;
      *Defined*) log_do "${MKDEV} -l aio0"
               log_do "${CHDEV} -P -l aio0 -a autoconfig=available"
               ;;
            *) log_con "Asynchronous I/O is not installed on this system."
               log_con "You will need to install it, and either configure it yourself using"
               log_con "'smit aio' or rerun the Oracle root installation procedure."
               ;;
  esac

  #--- configure POSIX AIO if AIX 5.2 or greater, we may want to use it
  if [ ${OSVER}${OSREL} -ge 52 ]; then
    log_con "\nConfiguring POSIX Asynchronous I/O...."
    POSIX_AIO=`${LSDEV} -C -t posix_aio|${AWK} '{print $2}'`
    case ${POSIX_AIO} in
      *Available*) log_con "Posix Asynchronous I/O is already defined"
                   is_autoconfig_available "posix_aio0"
                   if [ $? -ne 1 ]; then
                      log_con "Setting autoconfig to available for posix_aio0"
                      log_do "${CHDEV} -P -l posix_aio0 -a autoconfig=available"
                   fi
                   ;;
        *Defined*) log_do "${MKDEV} -l posix_aio0"
                   log_do "${CHDEV} -P -l posix_aio0 -a autoconfig=available"
                   ;;
                *) log_con "Posix Asynchronous I/O is not installed on this system."
                   log_con "You will need to install it, and either configure it yourself using"
                   log_con "'smit aio' or rerun the Oracle root installation procedure."
                   ;;
    esac
  fi
fi

4.小结
这个故障是由于部署过程中不够细心导致的，如若能严格按照既定的操作规范进行部署，一般都可以避免此类问题的发生。
BTW：当遇到大段的报错信息时不要惊慌，对于故障排查来说，报错信息就是提示信息，这是好事。最可怕的不是遇到报错信息，而是出现了故障没有任何的信息作为指引！！

Good luck.

secooler
10.01.22

-- The End --