Kafka 常用配置参数
-
batch.num.messages
default：200，每次批量消息的数量，只对 asyc 起作用。
-
request.required.acks
default：0，0 表示 producer 毋须等待 leader 的确认，1 代表需要 leader 确认写入它的本地 log 并立即确认，-1 代表所有的备份都完成后确认。只对 async 模式起作用，这个参数的调整是数据不丢失和发送效率的 tradeoff，如果对数据丢失不敏感而在乎效率的场景可以考虑设置为 0，这样可以大大提高 producer 发送数据的效率。
-
request.timeout.ms
default：10000，确认超时时间.
-
partitioner.class
default：kafka.producer.DefaultPartitioner，必须实现 kafka.producer.Partitioner，根据 Key 提供一个分区策略。说明：有时候我们需要相同类型的消息必须顺序处理，这样我们就必须自定义分配策略，从而将相同类型的数据分配到同一个分区中。
-
producer.type
default:sync 指定消息发送是同步还是异步。异步 asyc 成批发送用 kafka.producer.AyncProducer， 同步 sync 用kafka.producer.SyncProducer。同步和异步发送也会影响消息生产的效率。
-
compression.topic
default：：none，消息压缩，默认不压缩。其余压缩方式还有，"gzip"、"snappy"和"lz4"。对消息的压缩可以极大地减少网络传输量、降低网络 IO，从而提高整体性能。
-
compressed.topics
default：null，在设置了压缩的情况下，可以指定特定的 topic 压缩，未指定则全部压缩。
-
message.send.max.retries
default：3，消息发送最大尝试次数。
-
retry.backoff.ms
default：300，每次尝试增加的额外的间隔时间。
-
topic.metadata.refresh.interval.ms
default：600000，定期的获取元数据的时间。当分区丢失，leader 不可用时 producer 也会主动获取元数据，如果为 0，则每次发送完消息就获取元数据，不推荐。如果为负值，则只有在失败的情况下获取元数据。
-
queue.buffering.max.ms
default：5000，在 producer queue 的缓存的数据最大时间，仅仅 for asyc。
-
queue.buffering.max.message
default：10000，producer 缓存的消息的最大数量，仅仅 for asyc。
-
queue.enqueue.timeout.ms
default：-1，0 当 queue 满时丢掉，负值是 queue 满时 block, 正值是 queue 满时 block 相应的时间，仅仅 for asyc。