GolenGate介绍
GoldenGate软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库实时同步(real-time data synchronize)、双活(active-active high availability)。GoldenGate软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制。
免费下载地址:
http://www.oracle.com/technetwork/cn/middleware/goldengate/downloads/index.html
GoldenGate安装
GoldenGate软件在源端和目标端都需要进行安装和配置工作。根据源端和目标端的系统以及数据库版本的不同,下载安装不同版本的GoldenGate软件。
2.1 安装前检查
①检查网络端口是否开通
telnet IP PORT 如果指定端口不能够通信的话,trailfile是不能送达到目标端的。
②检查$ORACLE_HOME/lib环境变量是否在当前用户的.profile或.bash_profile里。
一般来说:
[Linux ]:LD_LIBRARY_PATH
[Solaris 32-bit ruby ]:LD_LIBRARY_PATH_32 or LD_LIBRARY_PATH
[Solaris 64-bit ruby ]:LD_LIBRARY_PATH_64 or LD_LIBRARY_PATH
[HP-UX PA-RISC 32-bit ruby]:SHLIB_PATH
[HP-UX PA-RISC 64-bit ruby]:SHLIB_PATH
[HP-UX IA64 ]:LD_LIBRARY_PATH
[Mac OS X ]:DYLD_LIBRARY_PATH
[AIX ]:LIBPATH
③检查源端是否开启归档
开启归档日志方法:
(1)保存一致性,先关闭数据库
SQL>shutdown immediate ;
(2)启动到mount阶段
SQL>startup mount;
(3)切换到归档模式
SQL>alter database archivelog;
(4)切换到open阶段
SQL>alter database open;
但对于9i版本的数据库,还需要设置log_archive_start=true,否则归档是开通不了的,10g版本之后就废弃了这个参数。设置方法:
SQL>alter system set log_archive_start=true scope=spfile;
需要重启数据库才能生效。
④检查源端是否开启日志附加模式
检查方法:select supplemental_log_data_min from v$database;
修改方法:alter database add supplemental log data;
⑤源端与目标端字符集检查
检查方法:select * from v$nls_parameters;
⑥ 源端和目标端创建goldengate用户
SQL>create user ggmgr identified by ggmgr default tablespace users temporary tablespace temp;
SQL>grant resource,connect,select any table to ggmgr;
2.2 安装GoldenGate软件
1、设置GGS_HOME路径
export GGS_HOME=$ORACLE_BASE/goldengate
2、解压压缩包:
①unzip ogg112101_fbo_ggs_Linux_x64_ora11g_64bit.zip
②tar -xvf fbo_ggs_Linux_x64_ora11g_64bit.tar
3、./ggsci 进入Goldengate命令行
4、创建子目录
ggsci>create subdirs
5、配置主进程参数
主进程参数用来配置进程监听端口以及其他属性参数
ggsci>edit params mgr
port 7809 #port 指定mgr进程通信端口
dynamicportlist 7800-8000 #dynamicportlist 表示mgr进程可以为源与目的端动态通信指定端口
autorestart extract *,retries 3,waitminutes 3,resetminutes 3 #autorestart extract 表示自动重启extract进程组,每3分钟尝试重启所有进程,重试3次,每3分钟清零
6、启动主进程
ggsci>start mgr
7、在源端配置抓取进程(E进程)
ggsci> add extract e_test ,tranlog,begin now #新增抽取进程e_test,基于日志方式,立即生效
8、配置抓取进程参数
ggsci> edit params e_test
extract e_test
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
userid ggmgr,password ggmgr #连接DB的用户和密码,可以配置参数文件,具体在direnv里编辑文件user.oby文件
rmthost oracle11g, mgrport 7812 #目标数据库服务器地址和GG服务端口号
rmttrail ./dirdat/et #远程队列的位置
dynamicresolution #优化参数,动态分析表结构
table scott.emp; #抓取表信息,可以使用scott.*
table scott.test;
9、创建远程队列
ggsci>add rmttrail /home/oracle/app/goldengate/dirdat/et extract e_test
10、增加传输表信息
ggsci>dblogin userid ggmgr,password ggmgr
ggsic>add trandata scott.emp
11、启动抓取进行
ggsci>start extract e_test
12、新增复制进程(R进程)
ggsci>add replicat r_test exttrail ./dirdat/ex,begin now,nodbcheckpoint
当然可以配置checkpointtable,方法:
ggsci>dblogin userid ggmgr,password ggmgr
ggsci>add checkpointtable ggmgr.checkpoint
13、配置复杂进程(R进程)
ggsci>edit params r_test
replicat r_test #复制进程名
userid ggmgr,password ggmgr #目标数据库的帐号密码
assumetargetdefs #两台数据库数据结构一致则使用此参数
reperror default,discard #如果复制数据出错则忽略
discardfile ./dirdat/extest.dsc,append,megabytes 100 #错误信息写入文件,追加模式,最大100m
map scott.emp, target ggmgr.emp; #全表映射关系,注意target前必须留一个空格
map scott.test ,target ggmgr.test #指定列映射关系
colmap(id=cn_id,cnname=cn_name);
14、启动复杂进程
ggsci>start replicat r_test
至此,一个简单的GG链路就算配置完毕了。当然复杂的GG链路,还需要配置D(Data Pump)进程,此进程优势在于:
主提取进程(即第一个extract)首先将trail生成在本地,然后datapump读取本地trail再发送到目标服务器,即便网络故障,主提取进程仍然能随着事务生成trail文件,而datapump则会暂时停止传输,等待网络通畅后在将堆积的本地trail文件发送至目标服务器,从而实现了断点传输的功能。在实际应用中,每一个同步流程都应该配置datapump以应对网络问题。
15、新增D进程
语法:
ADD EXTRACT pump_NAME, EXTTRAILSOURCE <local_trail>, BEGIN <time>
eg:
ggsci> ADD EXTRACT D_TEST,EXTTRAILSOURCE ./dirdat/ex, begin now
16、配置D进程
ggsci>edit params d_test
extract D_TEST
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
userid ggmgr,password ggmgr #连接DB的用户和密码,可以配置参数文件,具体在direnv里编辑文件user.oby文件
exttrail ./dirdat/ex #注意DATA PUMP进程与E进程的区别
dynamicresolution #优化参数,动态分析表结构
table scott.emp; #抓取表信息,可以使用scott.*
table scott.test;
3、日常运维命令
3.1 view params group_name #查看已配置的参数
3.2 edit params group_name #编辑参数文件
3.3 view report group_name #查看进程日终
3.4 info group_name detail #查看进程运行的详细信息
3.5 stats extract/replicat group_name #查看抓取或者复制进程的静态信息
3.5.1 stats extract group_name table table_name #查看抓取某张表的静态信息
3.5.2 STATS {EXTRACT | REPLICAT | ER} {<group| wildcard>}, REPORTRATE {HR | MIN | SEC} #查看处理进度
3.5.3 stats extract group_name,totalsonly table_name #查看自启动以来单表的总的操作
3.5.4 STATS {EXTRACT | REPLICAT | ER} {<group| wildcard>},{TOTAL | DAILY | HOURLY | LATEST} #过滤静态信息
3.5.5 SEND {EXTRACT | REPLICAT | ER} {<group |wildcard>}, REPORT #
3.6 查看日志信息
路径:#GGS_HOME/ggserr.log
3.7 获取源表机构定义
defgen paramfile dirprm/defgen.prm #使用defgen建立源表定义文件,目标端要用到此命令,执行路径$GGS_HOME
ggsci>edit params defgen
DEFSFILE ./dirdef/defgen.def #将生成文件的位置以及名称
USERID ggmgr PASSWORD ggmgr #
TABLE scott.emp; #传输的表
TABLE scott.test;
在$GGS_HOME路径下执行:
./defgen paramfile /home/oracle/app/goldengate/dirprm/defgen.prm
-----------------------------THE END ----------------------------------
4 参考
4.1 Oracle GoldenGate 11g Implementer's guide.pdf
4.2 http://www.juliandyke.com/Blog/?p=396
4.3 http://blog.csdn.net/tianlesoftware/article/category/776328