MySQL的binlog数据如何查看

binlog介绍

  1. binlog,即二进制日志,它记录了数据库上的所有改变.

  2. 改变数据库的SQL语句执行结束时,将在binlog的末尾写入一条记录,同时通知语句解析器,语句执行完毕.

  3. binlog格式

  • 基于语句,无法保证所有语句都在从库执行成功,比如update ... limit 1;

  • 基于行,将每一次改动记为binlog中的一行.在执行一个特别复杂的update或者delete操作时,基于行的格式会有优势.

登录到mysql查看binlog

  1. 只查看第一个binlog文件的内容

    show binlog events;
  2. 查看指定binlog文件的内容

    show binlog events in 'mysql-bin.000002';
  3. 查看当前正在写入的binlog文件

    show master status\G
  4. 获取binlog文件列表

    show binary logs;

用mysqlbinlog工具查看

注意:

  1. 不要查看当前正在写入的binlog文件

  2. 不要加--force参数强制访问

  3. 如果binlog格式是行模式的,请加 -vv参数

本地查看

  1. 基于开始/结束时间

    mysqlbinlog --start-datetime='2013-09-10 00:00:00' --stop-datetime='2013-09-10 01:01:01' -d 库名 二进制文件
  2. 基于pos值

    mysqlbinlog --start-postion=107 --stop-position=1000 -d 库名 二进制文件

远程查看

  1. 指定开始/结束时间,并把结果重定向到本地t.binlog文件中.

    mysqlbinlog -u username -p password -hl-db1.dba.beta.cn6.qunar.com -P3306 \
    --read-from-remote-server --start-datetime='2013-09-10 23:00:00' --stop-datetime='2013-09-10 23:30:00' mysql-bin.000001 > t.binlog


是否启用了日志
mysql>show variables like 'log_bin';

怎样知道当前的日志
mysql> show master status;

看二进制日志文件用mysqlbinlog
shell>mysqlbinlog mail-bin.000001
或者shell>mysqlbinlog mail-bin.000001 | tail


mysqlbinlog  mysql-bin.000036 | less

查询包含几个字段的语句:

mysqlbinlog mysql-bin.000036| egrep '(2011030610002460|2011030310001730|2011030410011680|2011030410006280)'

mysqlbinlog查看二进制日志的问题

在使用mysqlbinlog查看日志的时候碰到了一个问题, 
错误提示如下:
/usr/local/mysql/bin/mysqlbinlog: unknown variable 'default-character-set=utf8' 

产生这个问题的原因是因为我在my.cnf中的client选项组中添加了
default-character-set=utf8

要解决这个bug的方法还是有的,  
一种方法是使用:--no-defaults

./mysqlbinlog --no-defaults mysql-bin.000063 

另一种方法:使用mysqlbinlog工具查看二进制日志时会重新读取的mysql的配置文件my.cnf(windows下是my.ini),而不是服务器已经加载进内存的配置文件。也就是说只要修改并保存了my.cnf文件,而不需要重起mysql服务器,则使用mysqlbinlog查看时修改后的my.cnf配置文件对mysqlbinlog而言已经生效。所以这里可以使用此方法:把client选项组中default-character-set=utf8选项屏蔽掉,如 
#default-character-set=utf8
然后运行mysqlbinlog工具,则不会产生任何问题了。当然记得在不在使用mysqlbinlog工具时,把#default-character-set=utf8

选项恢复为default-character-set=utf8




一、mysqlbinlog简介

binlog又叫二进制日志文件,它会将mysql中所有修改数据库数据的Query以二进制的形式记录到日志文件中,如:create,insert,drop,update;(对于select操作则不会被记录到binlog里,因为它并没有修改数据库的数据)。binlog一般存储在数据目录下,并且命名为:mysql-bin.***(这个可以在配置文件中修改my.cnflog-bin=mysql-bin,就是文件名的前缀;mysqld在每个 binlog 名后面添加一个数字扩展名。每次启动服务器或刷新日志时增加文件的大小大于max_binlog_size,一个事务不会被拆分开)。

binlog主要是用于保证数据完整的,如主从备份,通过从binlog文件中读取操作来在salve机上进行同样的操作,保证主从备份,当然不可能每次都从开始的地方redo,所以每条记录都有一个时间截TIMESTAMP

二、binglog的类型

binlog的格式有三种,这也反应了mysql的复制技术:基于SQL语句的复制(statement-based replication, SBR),基于行的复制(row-based replication, RBR),混合模式复制(mixed-based replication, MBR)。相应地,binlog的格式也有三种:STATEMENTROWMIXED

mysql>showvariables like 'binlog_format'    #查看binlog的格式


、简单的使用binlog及查看修改其类型

show binary logs;    #显示binlog文件

 purge binary logsto 'mysql-bin.**'  #删除到**文件

 bin/mysqlbinlog binlogfile    #解析binlog文件

具体使用可以查看帮助文件,也可以参考官方用法:

http://dev.mysql.com/doc/refman/5.1/zh/client-side-scripts.html#mysqlbinlog

利用binlog恢复数据:

bin/mysqlbinlog  --start-datetime='2011-7-7 18:0:0'--stop-datetime='2011-7-7 20:07:13' data/mysql-bin.000008 |mysql -u root

查看及修改binlog的类型可以通过查看my.cnf文件,如混合型的设置如下:

log-bin=mysql-bin

#binlog_format=STATEMENT
      #binlog_format=ROW

binlog_format=mixed

另外也可以通过查看binlog日志文件的内容,具体上面已进行讲解。 也可以通过查看sql状态来查看:

mysql> show variables like '%log%';
+-----------------------------------------+--------------------------------+
| Variable_name                           | Value                          |
+-----------------------------------------+--------------------------------+
| back_log                                | 50                             |
| binlog_cache_size                       | 32768                          |
| binlog_direct_non_transactional_updates | OFF                            |
| binlog_format                           | MIXED

 

不复启mysql重新加载my.cnf文件的情况下,修改mysqlbinlog类型的方法:

mysql> SET SESSION binlog_format = 'STATEMENT';
mysql> SET SESSION binlog_format = 'ROW';
mysql> SET SESSION binlog_format = 'MIXED';
mysql> SET GLOBAL binlog_format = 'STATEMENT';
mysql> SET GLOBAL binlog_format = 'ROW';
mysql> SET GLOBAL binlog_format = 'MIXED'; 

四、binlog记录的格式

每个binlog的开始都是由4个字节:fe 62 69 6e,后面三个字节就是bin

然后接下来的就是一条记录的内容它包括:Common-Header,这部分不同版本的大小不一样,4.0以上的都是19个字节。在这个之后就是BODY

Common-Header格式:(单位:字节)


Timestamp(4)

Type(1)

Server_id(4)

Total_size(4)

End_log_pos(4)

Flag(2)

Timestamp:1970开始

Type:log event typeFORMAT_DESCRIPTION_EVENTQUERYLOAD_EVENT等,其中每个binlog的第一条记录的类型都是FORMAT_DESCRIPTION_EVENT,它记录了该binlog的相关信息,如版本,这些信息对于后序分析binlog记录是有用的,所以对于任务要读取binlog的内容的工具都必须先读取第一条记录。QUERY包括我们经常操作的如:create,drop,update,insert等。

Server_id:创建这个事件的server id。防止循环主从导致的主机被从写。The master's server id (is preserved in therelay log; used to prevent from infinite loops in circular replication).

Total_size:该记录的大小,包括common_headerbody

End_log_pos:此下一条记录的开始位置。也是此条记录结束位置的上一个字节。

Flag:标志位。

 

QUERY类型的记录:

QUERY类型的记录除了开始的common-header之外,在body的开头是一个Post-header,然后之后才是真正的body内容。

Query Post-Header:(单位字节)


Thread_id(4)

Exec_time(4)

Db_len(1)

Error_code(2)

Status_var_len(2)

Thread_idis used to distinguish temporary tables that belong to differentclients.

Exec_timeThe time from whenthe query started to when it was logged in the binlog, in seconds.QUERY到达到这个binlog事件生成的时间间隔。

Db_len:当前数据库的名称长度。

Error_code:执行出错的错误号。











本文转自 chengxuyonghu 51CTO博客,原文链接:http://blog.51cto.com/6226001001/1672159,如需转载请自行联系原作者
上一篇:专访Dan Kohn:阡陌交迭,云原生布局开源生态构建及深度应用


下一篇:k8s之CRD--为自定义资源生成代码