原文 https://blog.csdn.net/weixin_39478115/article/details/79155287
Broker参数配置
1、网络和io操作线程配置优化
# broker处理消息的最大线程数（默认为3）
num.network.threads=cpu核数+1
# broker处理磁盘IO的线程数
num.io.threads=cpu核数*2
2、log数据文件刷盘策略
# 每当producer写入10000条消息时，刷数据到磁盘
log.flush.interval.messages=10000
# 每间隔1秒钟时间，刷数据到磁盘
log.flush.interval.ms=1000
3、日志保留策略配置
# 保留三天，也可以更短 （log.cleaner.delete.retention.ms）
log.retention.hours=72
# 段文件配置1GB，有利于快速回收磁盘空间，重启kafka加载也会加快(如果文件过小，则文件数量比较多，kafka启动时是单线程扫描目录(log.dir)下所有数据文件
log.segment.bytes=1073741824
4、Replica相关配置
default.replication.factor:3
# 这个参数指新创建一个topic时，默认的Replica数量,Replica过少会影响数据的可用性，太多则会白白浪费存储资源，一般建议在2~3为宜。- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
Java API调优
1、zookeeper.session.timeout.ms
解释：配置的超时时间太短，Zookeeper没有读完Consumer的数据，连接就被Consumer断开了！
参数：5000
2、zookeeper.sync.time.ms
解释：ZooKeeper集群中leader和follower之间的同步的时间
参数：2000
3、auto.commit.enable=true
解释：注意offset信息并不是每消费一次消息就向zk提交一次,而是现在本地保存(内存),并定期提交
4、auto.commit.interval.ms
解释：自动提交offset到zookeeper的时间间隔
参数：1000
5、zookeeper.connection.timeout.ms
解释：确认zookeeper连接建立操作客户端能等待的最长时间
参数：10000
6、rebalance.backoff.ms
解释：消费均衡两次重试之间的时间间隔
参数：2000
7、rebalance.max.retries
解释：消费均衡的重试次数
参数：10