PostgreSQL 利用Pgpool-II的集群搭建方案

PostgreSQL 利用Pgpool-II的集群搭建方案 1.       下载安装    在官网 http://pgfoundry.org/projects/pgpool 下载 pgpool-II 2.2.2.tar.gz ,执行以下命令安装:    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]#tar xvf pgpool-II 2.2.2.tar.gz    [*] [*]#cd pgpool-II 2.2.2 [*] [*]#./ configure; make; make install;    #tar xvf pgpool-II 2.2.2.tar.gz #cd pgpool-II 2.2.2 #./ configure; make; make install;    2.       Parallel_Mode 配置    数据库的 Patition 可以利用 Pgpool-II 的 Parallel_Mode 来实现,在这种方式下,必须设置另外一个叫做 “System Database” 的数据库(我们称之为 SystemDB )。 SystemDB 保存决定数据如何在各节点中保存的用户定义规则,另一个用途是合并使用数据库链( dblink )从数据库节点返回的结果。    本文中的配置, Pgpool 和 SystemDB 都放在服务器 192.168.1.239 ,占用端口分别为: 9999 和 5444 。    配置文件的默认路径是: /usr/local/etc ,首先需要配置 pgpool.conf    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]#cd /usr/local/etc ; cp pgpool.conf.sample pgpool.conf;    #cd /usr/local/etc ; cp pgpool.conf.sample pgpool.conf;    下面是具体的配置过程:    设置并发查询  将 pgpool.conf 文件中的 parallel_mode 参数设置为 true 开启数据库复制功能:  parallel_mode = true  这样并不能自动开始并发查询, pgpool-II 还需要 SystemDB 以及分布规则来知道如何在各节点中分布数据。    另外, SystemDB 使用数据库链连接 pgpool-II ,因此,需要设置 listen_addresses 参数好让 pgpool-II 接受这些连接请求:    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]listen_addresses = '*'   listen_addresses = '*'    注意:并发查询和复制是不能共存的,使用并发查询功能时, replication_mode 必须设置为 false 。此外,并发查询和复制采用不同的格式储存数据,这样前边我们创建的 “bench_replication” 数据库无法被重用( reuse )。    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]replication_mode = false [*] [*]load_balance_mode = false   replication_mode = false load_balance_mode = false    parallel_mod 设置为 true 、 listen_addresses 设置为 '*' 、 replication_mode 和 load_balance_mode 设置为 false 。    配置 SystemDB    SystemDB 仅仅是一个安装有数据库链的数据库,数据表 “dist_def” 被用来保存数据分布规则。可以在单独的电脑中放置 SystemDB ,也可以与数据库节点之一共存。    在服务器 192.168.1.121 上的 5444 端口上创建 SystemDB ,下边是 SystemDB 的参数设置列表:    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]system_db_hostname = '192.168.1.121' [*] [*]system_db_port = 5444 [*] [*]system_db_dbname = 'pgpool' [*] [*]system_db_schema = 'pgpool_catalog' [*] [*]system_db_user = 'pgpool' [*] [*]system_db_password = ''   system_db_hostname = '192.168.1.121' system_db_port = 5444 system_db_dbname = 'pgpool' system_db_schema = 'pgpool_catalog' system_db_user = 'pgpool' system_db_password = ''   事实上,这是 pgpool.conf 中的缺省设置。    然后创建叫做 “pgpool” 的用户,再创建所有者为 “pgpool” 的数据库 “pgpool” :    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]#createuser -p 5444 pgpool    [*] [*]#createdb -p 5444 -O pgpool pgpool    #createuser -p 5444 pgpool #createdb -p 5444 -O pgpool pgpool    安装数据链    接下来,必须将数据库链安装到 “pgpool” 数据库,它是包含在 PostgreSQL 源代码 contrib 目录下的工具之一。    在“pgpool” 数据库中定义数据库链函数。PostgreSQL 安装在/opt/PostgresPlus/8.3AS ,dblink.sql (函数定义文件)会被放置在/opt/PostgresPlus/8.3AS/dbserver/share/contrib 中,运行如下命令创建函数:    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]# edb-psql -f /opt/PostgresPlus/8.3AS/dbserver/share/contribdblink.sql -p 5444 pgpool    # edb-psql -f /opt/PostgresPlus/8.3AS/dbserver/share/contribdblink.sql -p 5444 pgpool    定义 dist_def 数据表    接下来,定义数据库表“dist_def” 存放数据分布规则。安装pgpool-II 时,system_db.sql 文件放置在/opt/PostgresPlus/8.3AS/dbserver/share /system_db.sql (这里我们使用缺省安装路径),它包括了一些包括“dist_def” 在内的特殊用途数据表,执行下边的命令创 建dist_def 数据表:    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]# edb-psql -f /opt/PostgresPlus/8.3AS/dbserver/share/system_db.sql -p 5444 -U pgpool pgpool    # edb-psql -f /opt/PostgresPlus/8.3AS/dbserver/share/system_db.sql -p 5444 -U pgpool pgpool    定义数据分布节点    例子中的三个分布节点,分别为:192.168.1.239:5444 , 192.168.1.201:5444, 192.168.1.201:5443    在pgpool.conf 中定义这三个节点:    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]backend_hostname0 = '192.168.1.239' [*] [*]backend_port0 = 5444 [*] [*]backend_weight0 = 1 [*] [*]backend_data_directory0 = '/usr/postgresql/data' [*] [*]backend_hostname1 = '192.168.1.201' [*] [*]backend_port1 = 5444 [*] [*]backend_weight1 = 1 [*] [*]backend_data_directory1 = '/usr/postgresql/data' [*] [*]backend_hostname2 = '192.168.1.201' [*] [*]backend_port2 = 5443 [*] [*]backend_weight2 = 1 [*] [*]backend_data_directory2 = '/usr/postgresql/data2'   backend_hostname0 = '192.168.1.239' backend_port0 = 5444 backend_weight0 = 1 backend_data_directory0 = '/usr/postgresql/data' backend_hostname1 = '192.168.1.201' backend_port1 = 5444 backend_weight1 = 1 backend_data_directory1 = '/usr/postgresql/data' backend_hostname2 = '192.168.1.201' backend_port2 = 5443 backend_weight2 = 1 backend_data_directory2 = '/usr/postgresql/data2'    检验并发查询    重新启动pgpool-II 载入pgpool.conf 的变化,然后我们来检验一下并发查询是否在正常运行。    首先,命名为“bench_parallel” 的分布数据库,通过pgpool-II 创建到每一个节点上:    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]$ createdb -p 9999 bench_parallel    $ createdb -p 9999 bench_parallel    接下来,生成测试数据:    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]$ pgbench -i -s 3 -p 9999 bench_parallel    $ pgbench -i -s 3 -p 9999 bench_parallel    这时可以用数据库工具分别查看各节点的数据来确认结果。也可以在 Pgpool 的服务端口进入 SQL 操作来查看数据:    Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]#ebd-psql –p 9999 bench_parallel    [*] [*]#select * from accounts;    #ebd-psql –p 9999 bench_parallel #select * from accounts;    此时三个节点的数据可以通过一个共同的接口跟应用进行关联,该接口就是pgpool ,默认端口为9999 。    启动/关闭pgpool-II启动pgpool-II,在终端之上使用如下命令:  Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]$ pgpool   $ pgpool这个命令会把日志输出在终端上,因此推荐使用如下选项:  Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]$ pgpool -n -d > /tmp/pgpool.log 2>&1 &   $ pgpool -n -d > /tmp/pgpool.log 2>&1 &使用-n选项,pgpool-II作为非deamon进程运行,不会与终端脱离,这个选项需要将日志信息重定向至某个文件中。选项-d指令生成debug信息。    停止pgpool-II,使用如下命令:  Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]$ pgpool stop   $ pgpool stop如果有客户端正在连接,pgpool-II会等待他们断开,然后才停止。如果需要强制终止,使用下边的命令:  Java代码 http://mengqingyu.javaeye.com/images/icon_copy.gif   [*]$ pgpool -m fast stop   $ pgpool -m fast stop   本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/xtlog/archive/2009/05/27/4219353.aspx  http://blog.csdn.net/joliny/archive/2008/01/25/2065426.aspx renxiao2003 发表于 2011-01-31 22:00:37 本文翻译自源代码包中的“pgpool-II Tutorial”文档 "pgpool-II " 是pgpool 的下一代产品。 PostgreSQL 专用的所谓「连接池(pool)」服务器, PostgreSQL 客?端 和 PostgreSQL Server 之间做?者的媒介.根据利用 pgpool 做的事务, 能降低对 PostgreSQL server的连接overhead,能使之提高系?负载量.   PostgreSQL 的客?端连接到 pgpool 的话, 当第一回 PostgreSQL 的连接被 pgpool 建立. 对有客?端?束或者 PostreSQL 的连接不切断的情况下, 下次同样的用?, 资料库对 pgpool 的连接的?候这个 PostgreSQL 的连接会被再利用.   再者, 因?pgpool有「Hot-Backup」的机制, 能按住到最小限度系?的 down time.   另外 pgpool「replication」也可行的.根据使用replication的事, 物理地? 2 台Server 时时的地取得故障的接应 当软件故障发生也能继续提供服务. (如果第一服务器down下?, pgpool 自?地?提交给次要伺服器。)   pgpool 的 replication 因?根? 2 台伺服器?送同?的查?的事?行, 所?同期 replication 的就是一?.   再者,?在,replication以只2台,3台以上的replication不能.   pgpool 有著分配?索??(SELECT)?2台伺服器的?荷分散?能. 根???能大幅度提高?索性能. 下面我们来安装pgpool-ii  安装pgpool-II 安装pgpool-II是件非常容易的事情,在解压缩的源代码tar包目录中运行如下命令: $ ./configure $ make $ make install    configure命令收集系统信息并将它们用在编译过程中,可以传递命令行参数给configure脚本来控制它的行为,比如安装目录,缺省情况下将安装到/usr/local之下。 make命令编译源代码,make install安装编译后的可执行文件,在要安装的目录中必须具有写权限。 本指南将使用缺省安装目录/usr/local。   注意:pgpool-II需要PostgreSQL 7.4或者更高版本的libpq库(第三版本协议),如果configure脚本显示类似下边的错误信息,可能是没有安装libpq库或者它不支持第三版协议: configure: error: libpq is not installed or libpq is old (这里与前边讲最低支持6.4的说法冲突,看起来这个更可信。)   如果确信是支持第三版协议的libpq库,但是仍然收到这样的错误信息,可能是因为configure脚本没有正确识别它。 configure脚本在/usr/local/pgsql下搜索libpq库,如果PostgreSQL安装在其他目录,使用--with-pgsql或者是--with-pgsql-includedir和--with-pgsql-libdir命令行参数来指定它。   配置文件 pgpool-II的配置参数保存在pgpool.conf文件中,每一行采用"parameter = value"格式。安装pgpool-II时,自动创建pgpool.conf.sample文件,推荐将它拷贝并且重命名为pgpool.conf再编辑: $ cp /usr/local/etc/pgpool.conf.sample /usr/local/etc/pgpool.conf   pgpool-II仅使用9999端口接受本地连接,如果需要接受其他主机的连接请求,将listen_addresses设置为“*”: listen_addresses = 'localhost' port = 9999    本指南将使用缺省参数。   配置PCP命令 pgpool-II有一个出于管理目的可以通过网络查询数据库节点信息、关闭pgpool-II等功能的接口(interface)。使用PCP命令首先必须通过用户验证,它不同于PostgreSQL的用户验证,需要在pcp.conf中定义用户名和密码。文件中的用户名/密码成对出现在每一行,用冒号隔开,密码是md5格式: postgres:e8a48653851e28c69d0506508fb27fc5   安装pgpool-II时,自动建立pcp.conf.sample文件,推荐拷贝并且重命名以后再编辑: $ cp /usr/local/etc/pcp.conf.sample /usr/local/etc/pcp.conf   使用pg_md5命令可以将密码加密为md5格式,它是作为pgpool-II可执行部分安装的,pg_md5使用一个文本作为参数,然后显示出这个文本的md5加密文本。 例如: 将“postgres”作为参数传递给pg_md5,pg_md5将把md5加密过文本打印到标准输出: $ /usr/bin/pg_md5 postgres e8a48653851e28c69d0506508fb27fc5   PCP命令通过网络执行,因此必须在pcp.conf文件中使用pcp_port设置监听端口。 本指南将使用pcp_port的缺省值: pcp_port = 9898   设置数据库节点 现在,我们要设置pgpool-II的后端数据库,它们可以跟pgpool-II在同一台主机上,也可以在独立的机器上。如果放在同一主机之上,每个数据库服务器必须使用不同的端口。如果放在其他独立的机器上,必须设置它允许接受来自pgpool-II的连接请求。   本指南中,我们将在pgpool-II的同一个服务器上放置三个数据库,分别使用5432、5433、5434端口。在pgpool-II的配置文件pgpool.conf中作如下设置: backend_hostname0 = 'localhost' backend_port0 = 5432 backend_weight0 = 1 backend_hostname1 = 'localhost' backend_port1 = 5433 backend_weight1 = 1 backend_hostname2 = 'localhost' backend_port2 = 5434 backend_weight2 = 1 backend_hostname、backend_port、backend_weight分别设置节点的主机名、端口号、负载平衡比率,每一个参数名字符串的最后必须描述一个从0开始(1、2、3???)的节点ID。   backend_weight参数全部设置为1,意味着SELECT查询将平均分配到三个数据库中。   启动/关闭pgpool-II 启动pgpool-II,在终端之上使用如下命令: $ pgpool 这个命令会把日志输出在终端上,因此推荐使用如下选项: $ pgpool -n -d > /tmp/pgpool.log 2>&1 & 使用-n选项,pgpool-II作为非deamon进程运行,不会与终端脱离,这个选项需要将日志信息重定向至某个文件中。选项-d指令生成debug信息。   停止pgpool-II,使用如下命令: $ pgpool stop 如果有客户端正在连接,pgpool-II会等待他们断开,然后才停止。如果需要强制终止,使用下边的命令: $ pgpool -m fast stop
上一篇:Expected object of backend CPU but got backend CUDA for argument #2 ‘weight‘ 报错的问题和解决办法


下一篇:数据库负载查看