MySQL Binlog解析工具MaxWell详解

修改配置文件:

[atone@hadoop102 maxwell-1.25.0]$ cp config.properties.example config.properties

修改配置文件
producer=kafka

kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092

 

#需要添加

kafka_topic=ods_base_db_m

 

# mysql login info

host=hadoop102

user=maxwell

password=000000

 

#需要添加 后续初始化会用

client_id=maxwell_1

注:

1、指定固定数据库数据表到指定的topic中去,可以通过动态topic设置

Maxwell 会将消息投递到Kafka的Topic中,该Topic由 kafka_topic 选项指定,默认值为 maxwell,除了指定为静态的Topic,

还可以指定为动态的,譬如 namespace_%{database}_%{table}%{database} 和 %{table} 将被具体的消息的 database 和 table 替换。

 

2、默认还是输出到指定Kafka主题的一个kafka分区,因为多个分区并行可能会打乱binlog的顺序

如果要提高并行度,首先设置kafka的分区数>1,然后设置producer_partition_by属性

可选值producer_partition_by=database|table|primary_key|random| column

 

参考:

MySQL Binlog 解析工具 Maxwell

MySQL Binlog解析工具MaxWell详解

上一篇:mysql授权


下一篇:Oracle创建容器DB