日志架构

日志路径

日志文件格式

• 服务器日志文件被写为逗号分隔值（CSV）格式。

• 不是所有的日志项在所有的日志域中都有值，例如，只有与查询工作者进程相关的日志项才会有slice_id值。

• 一个特定查询的相关日志项可以通过其会话标识符（gp_session_id）和命令标识符（gp_command_count）确定。

日志说明

pg_log

• 这个日志一般是记录服务器与DB的状态，比如各种Error信息，定位慢查询SQL，数据库的启动关闭信息，发生checkpoint过于频繁等的告警信息，诸如此类。
• linux自带的路径一般在/home/log/postgres下面，该日志有.csv格式和.log。前一种一般会按大小和时间自动切割，这种日志可以被清理删除、压缩打包或者转移，不影响DB的正常运行。当有遇到DB无法启动或者更改参数没有生效时，第一个想到的就是查看这个日志。
• 四类错误级别，FATAL-严重告警，ERROR-错误，WARNING-警告，LOG-操作日志。文本文件查询检索不方便，这些文件是有固定格式，可以采用外部表的方式进行查询，同时可以利用相关的工具进行过滤。
• 记录各种Error信息，以及服务器与DB的状态信息，可由用户随意更新删除.

pg_xlog

• 这个日志是记录的Postgresql的WAL信息，是一些事务日志信息(transaction log)，默认单个大小是16M，源码安装的时候可以更改其大小。

• 这些信息名字是类似‘00000001000000000000001A‘这样的文件，这些日志会在定时回滚恢复(PITR)，流复制(Replication Stream)以及归档时能被用到。

• 这些日志记录着数据库发生的各种事务信息，不得随意删除或者移动这类日志文件，不然的数据库会有无法恢复的风险。

• 当你的归档或者流复制发生异常的时候，事务日志会不断地生成，有可能会造成磁盘空间被塞满，最终导致DB宕机或者无法启动。遇到这种情况可以先关闭归档或者流复制功能，备份pg_xlog日志到其他地方，但不要删除。然后删除较早时间的的pg_xlog，有一定空间后再试着启动Postgres。

pg_clog

• pg_clog事务日志文件，但与pg_xlog不同的是它记录的是事务的元数据(metadata)，
• 这个日志告诉我们哪些事务完成了，哪些没有完成。
• 这个日志文件一般非常小，但是重要性也是相当高，不得随意删除或者对其更改信息。

启动和关闭日志

使用gpstart，gpstop 等相关命令的日志，默认位于~/gpAdminLogs目录下

命令方式：<script_name>_.log 日志记录的格式： ::::[INFO|WARN|FATAL]:

日志常用参数和配置方案

常用参数

下面是Greenplum与安全相关的审计（或者日志）服务器配置参数，它们可以在postgresql.conf配置文件中设置：

配置方案

如下一共三个配置方案，可根据业务需求进行配置

0、通用配置

1、每天生成一个日志文件

2、每当日志写完一定大小，则换一个

3、根据星期保留7天日志，循环替换

日志分析

• 文件查看和检索

• 利用外部表方式进行查询

• 通过logstash工具进行定制分析

• 通过在安装了gpperfmon组件的情况下，通过log_alert_history 进行查询

• 通过gplogfilter工具来查找匹配指定标准的日志数据

gplogfilter 查看日志

日志文件对于确定出错的原因可以提供更多的信息。 Master和每个Segment都有日志文件，位于数据目录下的 pg_log 中。 Master 的日志文件包含着最多的信息，应该首先检查Master日志文件。

可以使用 gplogfilter命令 检查GPDB日志文件。要检查 Segment 的日志文件，可以使用 gpssh 在 Segment 主机上运行 gplogfilter命令。

参数选项

####时间戳选项
-b datetime | --begin=datetime
#以格式YYYY-MM-DD [hh:mm[:ss]] 指定要搜索的日志项的开始日期时间，如果指定一个时间，日期和时间必须被封闭在单引号或者双引号中。
-e datetime | --end=datetime
#指定一个YYYY-MM-DD [hh:mm[:ss]] 格式的结束日期时间来停止搜索日志信息。
-d time | --duration=time
#以[hh][:mm[:ss]]格式指定要搜索的日志项所在的时间长度。如果指定这个选项但没有指定-b或-e选项，将使用当前时间作为基础。


####模式匹配选项
-c i[gnore] | r[espect] || --case=i[gnore] | r[espect]
#除非前面放上--case=ignore选项，字母表符号的匹配默认是大小写敏感的。
-C ‘string‘ | --columns=‘string‘
#从日志文件中选择特定的列。将想要的列指定为由逗号定界的列编号串，列编号从1开始， 从左到右依次是1、2、3等等。
-f ‘string‘ | --find=‘string‘
#查找包含指定字符串的日志项。
-F ‘string‘ | --nofind=‘string‘
#拒绝包含指定字符串的日志项。
-m regex | --match=regex
#查找匹配指定的Python正则表达式的日志项。
-M regex | --nomatch=regex
#拒绝匹配指定Python正则表达式的日志项。
-t | --trouble
#只查找在第一行有ERROR:、FATAL:或者 PANIC:的日志项。


#### 输出选项
-n integer | --tail=integer
#限制输出为找到的符合条件日志项中的最后integer项。
-s offset [limit] | --slice=offset [limit]
#从符合条件的日志项列表中，从offset项处开始返回limit个项,其中为零的offset指示结果集中的第一项,并且任何不超过零的offset表示从结果集的末尾开始数。
-o output_file | --out=output_file
#将输出写到指定的文件或者目录位置而不是STDOUT。
-z 0-9 | --zip=0-9
#使用gzip把输出文件压缩到指定的压缩级别，其中0是不压缩,9是最大压缩。如果用户提供一个以.gz结束的输出文件名，该输出文件默认将使用最大压缩级别压缩。
-a | --append
#如果输出文件已经存在，会追加到该文件而不是覆盖它。


#### 输入选项
-input_file
#要在其中搜索的输入日志文件的名称。如果没有提供输入文件gplogfilter将使用环境变量$MASTER_DATA_DIRECTORY来定位Greenplum数据库的Master日志文件。要从标准输入读取，可使用一个破折号（-）作为输入文件名。
-u | --unzip
#使用gunzip解压输入文件。如果输入文件名以.gz结束， 它默认将被解压。
--help
#显示在线帮助。
--version
#显示这个工具的版本。

查询例子

• 查看Master和Segment日志文件 WARNING、 ERROR、 FATAL 或 PANIC 级别的日志信息：

#输出最后3行日志 
gplogfilter -n 3 
#查看master节点错误日志
gplogfilter -t /data/greenplum/data/master/gpseg-1/pg_log/gpdb-2021-08-31* > /data/greenplum/setlog.log
#查看segment所有节点错误日志
gpssh -f /usr/local/greenplum-db/seg_host -e ‘source /usr/local/greenplum db/greenplum_path.sh; gplogfilter -t /data/greenplum/data*/*/gpseg*/pg_log/gpdb-2021-08-31* ‘ > /data/greenplum/setlog.log

• 查看时间段日志

gplogfilter -b ‘2021-08-31 14:33:00‘ -e ‘2021-08-31 14:33:50‘

• 显示Master日志文件中时间戳位于最后10分钟内的所有日志消息：

gplogfilter -d :10

• 显示Master日志文件中包含字符串|con6 cmd11|的日志消息：

gplogfilter -f ‘|con6 cmd11|‘

日志文件视图

gp_toolkit管理模式下的日志视图，日志文件以外部表的形式通过SQL语句查询

视图名以gp_log开头，且仅有管理用户才能访问

gp_log_command_timings

该视图使用外部表来读取主数据库上的日志文件，并报告在数据库会话中执行的SQL命令的执行时间。 使用此视图需要超级用户权限。

gp_log_database

该视图使用外部表读取整个Greenplum系统的服务器日志文件（master，primary和mirror）， 并列出与当前数据库关联的日志条目。 可以通过会话ID（logsession）和命令ID（logcmdcount）标识关联的日志条目。 使用此视图需要超级用户权限。

gp_log_master_concise

该视图使用外部表从master日志文件读取日志字段的子集。 使用此视图需要超级用户权限。

gp_log_system

该视图使用一个外部表来读取整个Greenplum系统（master，segment和mirror）的服务器日志文件，并列出所有日志条目。 可以通过会话ID（logsession）和命令ID（logcmdcount）标识关联的日志条目。 使用此视图需要超级用户权限。

日志文件的定期清理

greenplum日志存放在pg_log下，master节点和每个segment节点都会有，格式为gpdb-YYYY-MM-DD_hhmmss.cs

清理90天之前的日志文件

find ${GPDATA_HOME}/master/gpseg-1/pg_log -type f -name "gpdb-*.csv" -mtime +90 -exec rm -f {} \;

【Greebplum】日志管理