archery数据库审核平台部署

2022-10-13 11:08:12

一【介绍】

Archery是archer的分支项目，定位于SQL审核查询平台，旨在提升DBA的工作效率，支持多数据库的SQL上线和查询，同时支持丰富的MySQL运维功能，所有功能都兼容手机端操作。

二【部署】

下载 Releases文件，解压后进入docker-compose文件夹

#启动
docker-compose -f docker-compose.yml up -d

#表结构初始化
docker exec -ti archery /bin/bash
cd /opt/archery
source /opt/venv4archery/bin/activate
python3 manage.py makemigrations sql  
python3 manage.py migrate

#数据初始化
python3 manage.py dbshell<sql/fixtures/auth_group.sql
python3 manage.py dbshell<src/init_sql/mysql_slow_query_review.sql

#创建管理用户
python3 manage.py createsuperuser

#重启服务
docker restart archery

#日志查看和问题排查
docker logs archery -f --tail=10
logs/archery.log

三 【功能清单】

四 【插件处理】
4.1 数据库慢日志插件
服务器搭建数据库mysql处理方法:

Archery不能自动的去收集慢查询，需要手工部署脚本。根据github上的文档去做如下：

1 执行创建表的脚本，在archery数据库创建两张关于收集慢查询信息的表：mysql_slow_query_review和mysql_slow_query_review_history

创建数据库：

路径：/opt/archery/src/init_sql/mysql_slow_query_review.sql

pt工具脚本执行：

路径：/opt/archery/src/script/analysis_slow_query.sh

复制脚本里的SQL，在archery 关联的mysql中执行

2 到目标库即需要查看慢日志的服务器上部署pt工具。

安装pt工具

下载 wget https://www.percona.com/downloads/percona-toolkit/3.0.12/binary/redhat/6/x86_64/percona-toolkit-3.0.12-1.el6.x86_64.rpm 安装 yum install -y percona-toolkit-3.0.12-1.el6.x86_64.rpm 命令默认就在/usr/bin/pt-query-digest下

修改脚本

#!/bin/bash
DIR="$( cd "$( dirname "$0" )" && pwd )"
cd ${DIR}

#配置Archery数据库的连接地址
archery_db_host="192.168.1.1"
archery_db_port=3306
archery_db_user="root"
archery_db_password="*****"
archery_db_database="archery"

#被分析实例的慢日志位置，建议定期清理日志文件，否则会影响分析效率
slowquery_file="/data/mysql/mysql-slow.log"

#pt-query-digest可执行文件路径
pt_query_digest="/usr/bin/pt-query-digest"

#被分析实例的连接信息
hostname="192.168.1.2:3306" # 需要和Archery实例配置中的内容保持一致，用于筛选，配置错误会导致数据无法展示

#获取上次分析时间，初始化时请删除last_analysis_time_$hostname文件，可分析全部日志数据
if [[ -s last_analysis_time_${hostname} ]]; then
last_analysis_time=`cat last_analysis_time_${hostname}`
else
last_analysis_time='1000-01-01 00:00:00'
fi

#收集日志
#RDS需要增加--no-version-check选项
${pt_query_digest} \
--user=${archery_db_user} --password=${archery_db_password} --port=${archery_db_port} \
--review h=${archery_db_host},D=${archery_db_database},t=mysql_slow_query_review \
--history h=${archery_db_host},D=${archery_db_database},t=mysql_slow_query_review_history \
--no-report --limit=100% --charset=utf8 \
--since "$last_analysis_time" \
--filter="\$event->{Bytes} = length(\$event->{arg}) and \$event->{hostname}=\"$hostname\" and \$event->{client}=\$event->{ip} " \
${slowquery_file} > /tmp/analysis_slow_query.log

if [[ $? -ne 0 ]]; then
echo "failed"
else
echo `date +"%Y-%m-%d %H:%M:%S"`>last_analysis_time_${hostname}
fi

调整定时任务触发pt工具同步至archery

crontab -e

3.rds数据库同步

3.1阿里云官方有提供对接，直接填写ak/sk key即可。

3.2其他云数据库，比如华为云/腾讯云等，

方法1：可以自己修改源码slowlog.py 里面对应的sdk,同步数据库慢日志。

方法2:通过获取华为云数据库慢日志api接口，获取到慢日志文件，在通过PT工具同步至archery.

码农公寓

相关文章