使用案例
引入maven依赖
<dependency>
<groupId>com.github.shyiko</groupId>
<artifactId>mysql-binlog-connector-java</artifactId>
<version>0.21.0</version>
</dependency>
监听binlog实现
public class App {
public static void main(String[] args) throws Exception {
BinaryLogClient logClient = new BinaryLogClient(
"127.0.0.1", 3306, "db", "root", "7654321"
);
logClient.registerEventListener(event -> {
EventData data = event.getData();
// 如果日志是更新记录
if(data instanceof UpdateRowsEventData){
long tableId = ((UpdateRowsEventData) data).getTableId();
System.out.println("update: " + tableId);
}else if(data instanceof WriteRowsEventData){
long tableId = ((WriteRowsEventData) data).getTableId();
// 如果日志是写操作
System.out.println("write: " + tableId);
}else if(data instanceof DeleteRowsEventData){
long tableId = ((DeleteRowsEventData) data).getTableId();
// 如果日志是删除操作
System.out.println("delete: " + tableId);
}
});
// 开始监听
logClient.connect();
}
}
binlog中的table_id
- table_id 并不是固定的,它是当表被载入内存(table_definition_cache)时，临时分配的，是一个不断增长的变量。
- 当有新的table变更时，在cache中没有，就会触发一次load table def的操作，此时就会在原先最后一次table_id基础上+1，做为新的table def的id。
- flush tables，之后对表的更新操作也会触发table_id 的增长。
- 如果table def cache过小，就会出现频繁的换入换出，从而导致table_id增长比较快。
- 重启主库使table_id 归0。
- 同一张表的table_id也不是一直不变的,记住,这个东西不是表定义的东西,是操作表的东西。
table_id的意义
- 任何一个东西都有它的意义,table_id也一样,它的作用是联系频繁DML操作和表结构的纽带.被包含在binlog中的Table_map_event（用于描述表的内部ID和结构定义）
- 假如一个insert更新了10000条数据，那么对应的表结构信息是否需要记录10000次列？其实是对同一个表的操作，所以binlog只是记录了一个Table_map用于记录表结构相关信息，而后面的Write_rows记录了更新数据的行信息。他们之间是通过table_id来联系的。
- table_id用来做hash key，通过set_table(table_id)的方法将某个表的信息hash到cache中；又可以通过get_table()方法来根据table_id获得对应的表信息。
flush table
解释： 关闭所有已打开的表对象，同时将查询缓存中的结果清空。就是说Flush tables的一个效果就是会等待所有正在运行的SQL请求结束。
flush tables;
flush table table1,table2...
binlog相关命令
-- 查询binglog日志列表
show binary logs;
-- 查询第一个(最早)的binlog日志
show binlog events;
-- 指定查询 mysql-bin.000077 日志
show binlog events in 'mysql-bin.000077';
-- 指定查询 mysql-bin.000077 日志，并且从pos=1024开始查
show binlog events in 'mysql-bin.000077' from 1024;
-- 指定查询 mysql-bin.000077 日志，并且从pos=1024开始查起，查询10条
show binlog events in 'mysql-bin.000077' from 1024 limit 10;
-- 指定查询 mysql-bin.000077 日志，并且从pos=1024开始查起，偏移2行，查询10条
show binlog events in 'mysql-bin.000077' from 1024 limit 2,10;