您现在的位置:圣剑网 >> 文章频道 >> 网络技术 >> 正文
postgresql数据库异步流复制hot standby环境搭建
新闻来源:文章频道发布时间:2016-10-22 12:50我有话说(0)

生命不息,test不止。


最近组里面修改了几个postgresql的bug,要进行回归测试,除了前面提到的WAL的RT测试和Mirroring Controller的RT测试,还要测试下postgresql的hot standby功能。


要进行该项测试,就要首先搭建hot standby环境。


本文主要记录下搭建hot standby环境的过程以及其中遇到的问题及解决方法。


首先介绍下系统环境:

操作系统:RHEL_6_x64

postgresql版本:9.5.4

首先至少要有两台机器,其次这两台机器都安装了postgresql(postgresql的编译安装见本人的这篇博客)。当然了,postgres账号也是要的。还有一些基础的软件包也是要安装的,这里不赘述了。


好的言归正传,进入hot standby环境的搭建。


我的实例环境如下:

主服务器:IP(192.168.2.130) 数据目录(/home/postgres/data)

从服务器:IP(192.168.2.128) 数据目录(/file1/database/data)

1 建立主数据库

mkdir -p /home/postgres/data                        #创建放置数据库的文件夹

initdb –D /home/postgres/data                       #初始化数据库

修改data文件夹下的postgresql.conf文件:

listen_addresses = '0.0.0.0'

port = 54321                                         #设置监听端口,只要不冲突即可

wal_level = hot_standby

max_wal_senders = 30

修改data/pg_hba.conf

host    replication     postgres             192.168.2.0/24         trust

注意,我这样是允许192.168.2.0/24这个网段的主机都可以连接到本台服务器。


如果你想指定某个特定用户,用xxx.xxx.xxx.xxx/32即可。


2 启动主数据库

输入以下命令启动数据库:

pg_ctl -D /file1/database/data -l logfile  start

输入命令后应该会显示以下消息:


我们测试下数据库是否启动成功:


psql -d postgres

如下图所示

图1.png

说明数据库成功启动!


3 数据备份

数据备份的话有两种方法,一种是停库备份,即先让数据库进入备份模式再将数据库目录复制过去,另外一种是使用pg_basebackup命令,不用进入备份模式。


3.1 基础备份方式


进入psql命令行,执行:

postgres=# select pg_start_backup('databackup',true);

使用这个命令后,所有请求在写日志之后不会再刷新到磁盘。直到执行pg_stop_backup()这个函数。

图2.png

这个时候就把主数据库上的data目录拷贝到从数据库上吧。
你可以直接拷贝过去,也可以使用scp命令:

scp -r /home/postgres/data postgres@192.168.2.128:/file1/database/

图3.png

这里输入192.168.2.128上的postgres用户的密码。


拷贝过去后,例如拷贝到/file1/database/data目录,那么在从库的data目录下,修改postgresql.conf文件:

port = 54321       #改成你想要的端口,不一定要和主库一样

hot_standby = on   #

同时,在从库的目录下增加一个recovery.conf文件,这个文件的模板可以在从库服务器的postgresql的安装目录下找到。修改recovery.conf文件:

standby_mode = on

primary_conninfo = 'host=192.168.2.130(就是主数据库的IP) port=54321(主数据库监听端口) user=postgres(登录用户)'

括号里的东西只是提示,不要真的写进文件哦~

最后,要删除从库目录下的postmaster.pid文件:

rm -f postmaster.pid

然后切换回主数据库,在psql命令行输入:

postgres=# select pg_stop_backup();

图4.png

退出备份模式。


是不是感觉很麻烦,所以我推荐下面这种方法。


3.2 使用pg_basebackup命令备份


pg_basebackup命令是postgresql 9.x之后才有的命令,具体命令的语法和各个参数的意义见用户手册


在从数据库上使用pg_basebackup命令备份:

pg_basebackup -h 192.168.2.128 -U postgres -F p -P -x -R -D /file1/database/data -l backup20161021

在从库的data目录下,修改postgresql.conf文件:

port = 54321       #改成你想要的端口,不一定要和主库一样

hot_standby = on   #

因为在pg_basebackup命令中使用了-R参数,所以生成了recovery.conf文件,不需要我们再制作了。


这就OK了。


4 启动从数据库

在从库上使用pg_ctl 命令:

pg_ctl start -D /file1/data  -l logfile start

这样环境就搭好了。


这里演示的是一台主数据库,一台从数据库的hot standby的环境搭建。你要搭建多个从服务器的话操作也是类似,这里不再赘述。


5 要注意的问题(坑)

5.1 环境变量


环境变量要设置好,例如:

PGPORT(数据库的监听端口)

PATH(可执行文件的路径)

LD_LIBRARY_PATH(链接库的路径)

PGDATA(数据库文件路径)

不设置好的话,可能会报一些奇怪的错误。

5.2 参数设置


这里主要是指postgresql.conf文件和pg_hba.conf文件。这里面设置了postgresql里面大多数重要的参数。


一般在修改后要重启数据库或者reload下配置文件:

pg_ctl reload

5.3 操作顺序


还是建议严格按照操作顺序进行环境的搭建,尤其是在数据备份操作时尤其要小心,否则会导致很多“奇怪”的错误,尤其是WAL日志和archive的错误,这也是楼主走过的坑,希望大家不要再趟。还有最好使用脚本来进行操作,避免在大量重复的操作中出错,这里也引用一篇相关文章好了:


6 展望

本次简单的搭建了postgresql的异步流复制hot standby的环境,实际还有同步流复制,主备份切换等,这个留在后面的博客里面再写吧。

网友评论

关于圣剑 - 广告服务 - 招聘信息 - 友情连接 - 保护隐私权 - 意见反馈 - 帮助中心 - 联系我们

Copyright © 2016 Sjian.Net Inc. All Rights Reserved.大千网络科技有限公司 版权所有

不良信息举报中心 陕ICP备10005927号 陕公网安备61010402000003号