kafka0.9.0及0.10.0配置属性

2022-01-17 03:41:50

问题导读

1.borker包含哪些属性？
2.Producer包含哪些属性？
3.Consumer如何配置？

kafka0.9.0及0.10.0配置属性

borker(0.9.0及0.10.0)配置
Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet，它包含了日志数据以及OffsetIndex对象，该对象使用位移来读取日志数据 
* borker配置就是指配置server.properties文件 *

最小配置

通常情况下需要在减压缩kafka后，修改config/server.properties 配置文件中的以下两项

[Bash shell] 纯文本查看 复制代码
1
2
3
log.dirs = kafka-logs
zookeeper.connect = localhost:9092
listeners = PLAINTEXT://ip:9092
  • log.dirs 指的是kafka的log Data保存的目录，默认为Null。如果不指定log Data会保存到log.dir设置的目录中，log.dir默认为/tmp/kafka-logs。需要保证启动KafKaServer的用户对log.dirs或log.dir设置的目录具有读与写的权限。
  • zookeeper.connect 指的是zookeeper集群的地址，可以是多个，多个之间用逗号分割hostname1:port1,hostname2:port2,hostname3:port3
  • listeners 监听列表(以逗号分隔 不同的协议(如plaintext,trace,ssl、不同的IP和端口))

kafka提供的borker配置

[Bash shell] 纯文本查看 复制代码
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
# Replication configurations
num.replica.fetchers=4
replica.fetch.max.bytes=1048576
replica.fetch.wait.max.ms=500
replica.high.watermark.checkpoint.interval.ms=5000
replica.socket.timeout.ms=30000
replica.socket.receive.buffer.bytes=65536
replica.lag.time.max.ms=10000
 
controller.socket.timeout.ms=30000
controller.message.queue.size=10
 
# Log configuration
num.partitions=8
message.max.bytes=1000000
auto.create.topics.enable=true
log.index.interval.bytes=4096
log.index.size.max.bytes=10485760
log.retention.hours=168
log.flush.interval.ms=10000
log.flush.interval.messages=20000
log.flush.scheduler.interval.ms=2000
log.roll.hours=168
log.retention.check.interval.ms=300000
log.segment.bytes=1073741824
 
# ZK configuration
zookeeper.connection.timeout.ms=6000
zookeeper.sync.time.ms=2000
 
# Socket server configuration
num.io.threads=8
num.network.threads=8
socket.request.max.bytes=104857600
socket.receive.buffer.bytes=1048576
socket.send.buffer.bytes=1048576
queued.max.requests=16
fetch.purgatory.purge.interval.requests=100
producer.purgatory.purge.interval.requests=100

配置详细说明

名称 说明 类型 默认值 有效值 重要性
zookeeper.connect zookeeper集群的地址，
可以是多个，
多个之间用逗号分割		 string localhost:
2181		 ip1
:port1
,ip2
:port2		 高
zookeeper.connection.timeout.ms 客户端在建立通zookeeper
连接中的最大等待时间		 int null 6000 高
zookeeper.session.timeout.ms ZooKeeper的session的超时
时间，如果在这段时间内没
有收到ZK的心跳，则会被认
为该Kafka server挂掉了。
如果把这个值设置得过低可
能被误认为挂掉，如果设置
得过高，如果真的挂了，则需
要很长时间才能被server得知		 int 6000   高
zookeeper.sync.time.ms 一个ZK follower能落后leader
的时间		 int 2000   高
listeners 监听列表(以逗号分隔 不同的
协议(如plaintext,trace,ssl、
不同的IP和端口)),hostname
如果设置为0.0.0.0则绑定所
有的网卡地址；如果hostname
为空则绑定默认的网卡。
如果
没有配置则默认为
java.net
.InetAddress
.getCanonicalHostName()		 string null 如：PLAINTEXT:
//myhost:
9092,
TRACE://:
9091
或 PLAINTEXT:
//0.0.0.0
:9092,		 高
host.name 。如果设置了它，
会仅绑定这个
地址。
如果没有设置，则会
绑定所有
的网络接口，并提交
一个给ZK。
不推荐使用 只有当
listeners没
有设置时才有必要使用。		 string “’ 如：
”localhost”		 高
port server用来接受
client连接的端口。
不推荐使用,使用
listeners配置
项代替；只有在
listeners没有
配置时才使用。		 int 9092   高
advertised.host.name 会将hostname通知给
生产者
和消费者，在多网卡
时需要
设置该值为另一个ip地址。
如果没有设置该值，
则返回 
配置项host.name设置的值，
如果host.name没有设
置则返回java.net.InetAddress.
getCanonicalHostName()
不推荐使用 只有当
advertised.listeners或
listeners没有设置时才
有必要使用。		 string null   高
advertised.listeners 设置不同于listeners配置
的监听列表即不同于
listeners设置的网卡地址
及端口；如果没有配置，
会使用listeners的值		 string null   高
advertised.port 分发这个端口给所有的
producer，consumer和
其他broker来建立连接
。如果此端口跟server
绑定的端口不同，
则才有必要设置。
不推荐使用 只有当
advertised.listeners
或listeners没有设置
时才有必要使用。		 int null   高
auto.create.topics.enable 是否允许自动创建topic。
如果设为true，那么
produce，consume
或者fetch metadata
一个不存在的topic时，
就会自动创建一个默认
replication factor和
partition number的topic。		 boolean true   高
background.threads 一些后台任务处理的
线程数，例如过期消
息文件的删除等，
一般情况下不需要去
做修改		 int 10   高
broker.id 每一个broker在集群中
的唯一表示，要求是正数。
当该服务器的IP地址发
生改变时，broker.id没有
变化，则不会影响
consumers的消息情况。		 int -1   高
compression.type 指定topic的压缩类型。
除了支持’gzip’, ‘snappy’,
‘lz4’外，还支持
”uncompressed(不压缩)
”以及produce
r(由producer来指定)		 string producer   高
delete.topic.enable 是否启动删除topic。
如果设置为false,
你在删除topic的时
候无法删除，但是会打
上一个你将删除该topic
的标记，等到你修改这
一属性的值为true后重
新启动Kafka集群的时候
，集群自动将那些标记
删除的topic删除掉，对应
的log.dirs目录下的topic
目录和数据也会被删除。
而将这一属性设置为true之后，
你就能成功删除你想要
删除的topic了		 boolean false   高
auto.leader.rebalance.enable 一个后台线程会周期性
的自动尝试，为所有的
broker的每个partition
平衡leadership，使kafka
的leader均衡。		 boolean true   高
leader.imbalance.check.interval.seconds 检查leader是否均衡的
时间间隔(秒)		 long 300   高
leader.imbalance.per.broker.percentage 每个broker允许的不平衡
的leader的百分比。
如果每个broker超过
了这个百分比，复制控
制器会重新平衡leadership。		 int 10   高
log.flush.interval.messages 数据flush(sync)到硬盘
前之前累积的消息条数
，因为磁盘IO操作是一
个慢操作,但又是一个
”数据可靠性”的必要
手段,所以此参数的设置
,需要在”数据可靠性”
与”性能”之间做必要
的权衡.如果此值过大,
将会导致每次”fsync”
的时间较长
(IO阻塞),如果此值过
小,将会导致”fsync”的
次数较多,这也意味着
整体的client请求有一
定的延迟.物理server
故障,将会导致没有
fsync的消息丢失		 long 9223372
0368547
75807
（此为一
个数字）		   高
log.flush.interval.ms 当达到下面的时间
(ms)时，执行一次
强制的flush操作。
interval.ms和
interval.messages
无论哪个达到，
都会flush。		 long null   高
log.flush.offset.checkpoint.interval.ms 记录上次把log刷
到磁盘的时间点的
频率，用来日后的
recovery。通常
不需要改变		 long 60000   高
log.flush.scheduler.interval.ms 检查是否需要固
化到硬盘的时间
间隔		 long 92233720
3685477
5807
（此为一
个数字）		   高
log.retention.bytes topic每个分区的
最大文件大小，
一个topic的大小
限制 = 分区数*
log.retention.bytes。
-1没有大小限
log.retention.bytes和log.retention.minutes
任意一个达到要求，
都会执行删除，
会被topic创建时
的指定参数覆盖		 loong -1   高
log.retention.hours 日志保存时间，
默认为7天（168小时）
。超过这个时间会根
据policy处理数据。
bytes和minutes无论
哪个先达到都会触发		 int 168   高
log.retention.minutes 数据存储的最大时间
超过这个时间会根据
log.cleanup.policy
设置的策略处理数
据，也就是消费端能
够多久去消费数据		        
log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除，会被topic创建时的指定参数覆盖 int null   高  
log.roll.hous 当达到下面时间，
会强制新建一个segment。
这个参数会在日志
segment没有达到
log.segment.bytes
设置的大小，也会强制
新建一个segment会		 int 168   高
log.roll.jitter.{ms,hours} 从logRollTimeMillis抽
离的jitter最大数目		 int 0   高
log.segment.bytes topic partition的日志存
放在某个目录下诸多
文件中，这些文件将
partition的日志切分成
一段一段的；这个属性就
是每个文件的最大尺寸；
当尺寸达到这个数值时，
就会创建新文件。
此设置可以由每个topic
基础设置时进行覆盖		 long 1G=
1024*
1024*
1024		   高
log.segment.delet.delay.ms 删除文件系统上文件
的等待时间，默认是
1分钟		 long 6000   高
message.max.bytes 表示一个服务器能够
接收处理的消息的最
大字节数，注意这个
值producer和consumer
必须设置一致，且不要大于fetch.message.max.bytes
属性的值该值默认是
1000012字节，大概900KB		        
int 1000012   高    
min.insync.replicas 该属性规定了最小的
ISR数。当producer设置request.required.acks
为all或-1时，指定副
本(replicas)的最小数目
（必须确认每一个repica
的写数据都是成功的），
如果这个数目没有达到，
producer会产生异常。		 int 1   高
num.io.threads 服务器用来处理请求
的I/O线程的数目；
这个线程数目至少要
等于硬盘的个数。		 int 8   高
num.network.threads 服务器用来处理网络
请求的网络线程数目；
一般你不需要更改这
个属性		 int 3   高
num.recovery.threads.per.data.dir 每数据目录用于日志
恢复启动和关闭冲洗
时的线程数量		 int 1   高
num.replica.fetchers 从leader进行复制
消息的线程数，增大这个
数值会增加follower的IO		 int 1   高
offset.metadata.max.bytes 允许client(消费者)保存
它们元数据(offset)的
最大的数据量		 int 4096(4kb)    
offsets.commit.required.acks 在offset commit可以接
受之前，需要设置确认的
数目，一般不需要更改		 int -1   高
offsets.commit.timeout.ms offset commit会延迟
直至此超时或所需的
副本数都收到offset 
commit，
这类似于producer请
求的超时		 int 5000   高
offsets.load.buffer.size 此设置对应于offset
manager在读取缓存
offset segment的批量
大小（以字节为单位).		 int 5242880   高
offsets.retention.check.interval.ms offset管理器检查陈
旧offsets的频率		 long 600000
(10分钟)		   高
offsets.topic.num.partitions 偏移的提交topic的分
区数目。 由于目前不
支持部署之后改变，
我们建议您使用生产
较高的设置
（例如，100-200）		 int 50   高
offsets.topic.replication.factor 复制因子的offset提交topic。
较高的设置
（例如三个或四个），
建议以确保更高的
可用性。如果offset topic
创建时，broker比
复制因子少，
offset topic将以较
少的副本创建。		 short 3   高
offsets.topic.segment.bytes offset topic的Segment
大小。因为它使用
压缩的topic，所有
Sgment的大小应该
保持小一点，以促进更
快的日志压实和负载		 int 104857600   高
queued.max.requests 在网络线程
(network threads)
停止读取新请求之前，
可以排队等待I/O线程
处理的最大请求个数。
若是等待IO的请求超
过这个数值，那么会
停止接受外部消息		 int 500   高
quota.consumer.default 以clientid或
consumer group区分
的consumer端每秒
可以抓取的最大byte		 long 92233720
36854775
807
（此为一
个数字）		   高
quota.producer.default producer端每秒可
以产生的最大byte		 long 92233720
3685477
5807
（此为一
个数字）		   高
replica.fetch.max.bytes replicas每次获取数
据的最大字节数		 int 1048576   高
replica.fetch.min.bytes fetch的最小数据尺寸,
如果leader中尚未同步
的数据不足此值,将会
阻塞,直到满足条件		 int 1   高
replica.fetch.wait.max.ms replicas同leader之间
通信的最大等待时间，
失败了会重试。这个值
须小于
replica.lag.time.max.ms，
以防止低吞吐量
主题ISR频繁收缩		 int 500   高
replica.high.watermark.checkpoint.interval.ms 每一个replica存储自己
的high watermark到磁
盘的频率，用来日后
的recovery		 int 5000   高
replica.socket.timeout.ms 复制数据过程中，
replica发送给leader的
网络请求的socket超
时时间,至少等于
replica.fetch.wait.max.ms		 int 30000   高
replica.socket.receive.buffer.bytes 复制过程leader接
受请求的buffer大小		 int 65536
(64*1024)		   高
replica.lag.time.max.ms replicas响应partition leader
的最长等待时间，
若是超过这个时间，
就将replicas列入
ISR(in-sync replicas)，
并认为它是死的，
不会再加入管理中		 long 10000   高
replica.lag.max.messages 如果follower落后与
leader太多,将会认
为此follower
[或者说partition relicas]
已经失效。 通常,在
follower与leader通讯时,
因为网络延迟或者链
接断开,
总会导致replicas中消息
同步滞后如果消息之
后太多,leader将认为
此follower网络延迟
较大或者消息吞吐
能力有限,将会把此
replicas迁移到其他
follower中.在broker数
量较少,或者网络不足
的环境中,建议提高此值.		 int 4000   高
request.timeout.ms producer等待响应的
最长时间，如果超时
将重发几次，最终报错		 int 30000   高
socket.receive.buffer.bytes socket用于接收网
络请求的缓存大小		 int 102400   高
socket.request.max.bytes server能接受的请求
的最大的大小，
这是为了防止server
跑光内存，不能大
于Java堆的大小。		 int 104857600
(100*1024
*1024)
（此为一
个表达式）		   高
socket.send.buffer.bytes server端用来处理
socket连接的
SO_SNDBUFF缓冲大小		 int 102400   高
controller.socket.timeout.ms partition管理控制
器进行备份时，
socket的超时时间		 int 30000   高
controller.message.queue.size partition leader与
replicas数据同步时,
消息的队列大小		 int 10   高
num.partitions 每个topic的分区个数，
若是在topic创建时候
没有指定的话会被
topic创建时的指定
参数覆盖		 int 1 推荐
设为8		 高
log.index.interval.bytes 当执行一次fetch后，
需要一定的空间扫描
最近的offset，设置的
越大越好，但是也更耗
内存一般使用默认值就可以		 int 4096   中
log.index.size.max.bytes 每个log segment的
最大尺寸。注意，
如果log尺寸达到这
个数值，即使尺寸
没有超过log.segment.bytes
限制，也需要产生新的
log segment。		 int 10485760   中
fetch.purgatory.purge.interval.requests 非立即答复请求放入
purgatory中，
当到达或超出interval
时认为request complete		 int 1000   中
producer.purgatory.purge.interval.requests producer请求清除时间 int 1000   中
default.replication.factor 一个topic ，默认分区
的replication个数 ，
不能大于集群中
broker的个数。		 int 1   中
group.max.session.timeout.ms 注册consumer允许
的最大超时时间		 int 300000   中
group.min.session.timeout.ms 注册consumer允许
的最小超时时间		 int 6000   中
inter.broker.protocol.version broker协议版本 string 0.10.0   中
log.cleaner.backoff.ms 检查log是否需要
clean的时间间隔		 long 15000   中
log.cleaner.dedupe.buffer.size 日志压缩去重时候的
缓存空间，在空间允许
的情况下，越大越好		 long 134217
728

   中
log.cleaner.delete.retention.ms 保存时间；保存压缩
日志的最长时间；
也是客户端消费消息的
最长时间，
同log.retention.minutes
的区别在于一个控制未
压缩数据，一个控制压
缩后的数据；会被topic
创建时的指定时间覆盖。		 long 86400000
(一天)		   中
log.cleaner.enable 是否启动压缩日志,
当这个属性设置为false时
，一旦日志的保存时间或
者大小达到上限时，
就会被删除；
如果设置为true，
则当保存属性达到上限时，
就会进行压缩		 boolean false   中
log.cleaner.threads 日志压缩运行的线程数 int 1   中
log.cleaner.io.buffer.load.factor 日志清理中hash表的
扩大因子，一般不需
要修改		 double 0.9   中
log.cleaner.io.buffer.size log cleaner清除过程
中针对日志进行索引
化以及精简化所用到
的缓存大小。最好设置大
点，以提供充足的内存		 int 524288   中
log.cleaner.io.max.bytes.per.second 进行log compaction时，
log cleaner可以拥有的
最大I/O数目。这项设置
限制了cleaner，以避免干
扰活动的请求服务。		 double 1.79769313
48623157E308
（此为一
个数字）		   中
log.cleaner.min.cleanable.ratio 这项配置控制
log compactor
试图清理日志的频率
（假定[log compaction]
是打开的）。
默认避免清理压缩超过
50%的日志。这个比率
绑定了备份日志所消耗
的最大空间（50%的
日志备份时压缩率为50%）。
更高的比率则意味着浪
费消耗更少，也就可
以更有效的清理更多
的空间。这项设置在
每个topic设置中可以覆盖		 double 0.5   中
log.preallocate 是否预创建新文件，windows推荐使用 boolean false   中
log.retention.check.interval.ms 检查日志分段文件的间隔时间，以确定是否文件属性是否到达删除要求。 long 300000   中
max.connections.per.ip 一个broker允许从每个ip地址连接的最大数目 int 2147483647
=Int.
MaxValue		   中
max.connections.per.ip.overrides 每个IP或主机名覆盖连接的默认最大数量 string “”   中
replica.fetch.backoff.ms 复制数据时失败等待时间 int 1000   中
reserved.broker.max.id broker可以使用的最大ID值 int 1000   中

topic level 配置

broker级别的参数可以由topic级别的覆写，不是所有的broker参数在topic级别都有对应值 
以下是topic-level的配置选项。server的默认配置在Server Default Property列下给出了，设定这些默认值不会改变原有的设置
Property Default Server Default Property Description
cleanup.policy delete log.cleanup.policy 要么是”delete“要么是”compact“； 这个字符串指明了针对旧日志部分的利用方式；默认方式（”delete”）将会丢弃旧的部分当他们的回收时间或者尺寸限制到达时。”compact“将会进行日志压缩
delete.retention.ms 86400000 (24 hours) log.cleaner.delete.retention.ms 对于压缩日志保留的最长时间，也是客户端消费消息的最长时间，通log.retention.minutes的区别在于一个控制未压缩数据，一个控制压缩后的数据。此项配置可以在topic创建时的置顶参数覆盖
flush.messages none log.flush.interval.messages 此项配置指定时间间隔：强制进行fsync日志。例如，如果这个选项设置为1，那么每条消息之后都需要进行fsync，如果设置为5，则每5条消息就需要进行一次fsync。一般来说，建议你不要设置这个值。此参数的设置,需要在”数据可靠性”与”性能”之间做必要的权衡.如果此值过大,将会导致每次”fsync”的时间较长(IO阻塞),如果此值过小,将会导致”fsync”的次数较多,这也意味着整体的client请求有一定的延迟.物理server故障,将会导致没有fsync的消息丢失.
flush.ms None log.flush.interval.ms 此项配置用来置顶强制进行fsync日志到磁盘的时间间隔；例如，如果设置为1000，那么每1000ms就需要进行一次fsync。一般不建议使用这个选项
index.interval.bytes 4096 log.index.interval.bytes 默认设置保证了我们每4096个字节就对消息添加一个索引，更多的索引使得阅读的消息更加靠近，但是索引规模却会由此增大；一般不需要改变这个选项
max.message.bytes 1000000 max.message.bytes kafka追加消息的最大尺寸。注意如果你增大这个尺寸，你也必须增大你consumer的fetch 尺寸，这样consumer才能fetch到这些最大尺寸的消息。
min.cleanable.dirty.ratio 0.5 in.cleanable.dirty.ratio 此项配置控制log压缩器试图进行清除日志的频率。默认情况下，将避免清除压缩率超过50%的日志。这个比率避免了最大的空间浪费
min.insync.replicas 1 min.insync.replicas 当producer设置 acks为-1时，min.insync.replicas指定replicas的最小数目（必须确认每一个repica的写数据都是成功的），如果这个数目没有达到，producer会产生异常。
retention.bytes None log.retention.bytes 如果使用“delete”的retention 策略，这项配置就是指在删除日志之前，日志所能达到的最大尺寸。默认情况下，没有尺寸限制而只有时间限制
retention.ms 7 days log.retention.minutes 如果使用“delete”的retention策略，这项配置就是指删除日志前日志保存的时间。
segment.bytes 1GB log.segment.bytes kafka中log日志是分成一块块存储的，此配置是指log日志划分成块的大小
segment.index.bytes 10MB log.index.size.max.bytes 此配置是有关offsets和文件位置之间映射的索引文件的大小；一般不需要修改这个配置
segment.ms 7 days log.roll.hours 即使log的分块(segment)文件没有达到需要删除、压缩的大小，一旦log 的时间达到这个上限，就会强制新建一个log分块文件
segment.jitter.ms 0 log.roll.jitter.{ms,hours} The maximum jitter to subtract from logRollTimeMillis.

Producer配置

名称 说明 类型 默认值 有效值 重要性
bootstrap.servers 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载，不管哪些server是指定用于bootstrapping。这个列表仅仅影响初始化的hosts（用于发现全部的servers）。这个列表格式：host1:port1,host2:port2,…因为这些server仅仅是用于初始化的连接，以发现集群所有成员关系（可能会动态的变化），这个列表不需要包含所有的servers（你可能想要不止一个server，尽管这样，可能某个server宕机了）。如果没有server在这个列表出现，则发送数据会一直失败，直到列表可用。 list     高
acks producer需要server接收到数据之后发出的确认接收的信号，此项配置就是指procuder需要多少个这样的确认信号。此配置实际上代表了数据备份的可用性。以下设置为常用选项：（1）acks=0： 设置为0表示producer不需要等待任何确认收到的信息。副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据，同时重试配置不会发生作用（因为客户端不知道是否失败）回馈的offset会总是设置为-1；（2）acks=1： 这意味着至少要等待leader已经成功将数据写入本地log，但是并没有等待所有follower是否成功写入。这种情况下，如果follower没有成功备份数据，而此时leader又挂掉，则消息会丢失。（3）acks=all： 这意味着leader需要等待所有备份都成功写入日志，这种策略会保证只要有一个备份存活就不会丢失数据。这是最强的保证。， string -1 [all -1 0 1] 高
key.serializer key的序列化方式，若是没有设置，同serializer.class 实现Serializer接口的class     高
value.serializer value序列化类方式 实现Serializer接口的class     高
buffer.memory producer可以用来缓存数据的内存大小。如果数据产生速度大于向broker发送的速度，producer会阻塞或者抛出异常，以“block.on.buffer.full”来表明。这项设置将和producer能够使用的总内存相关，但并不是一个硬性的限制，因为不是producer使用的所有内存都是用于缓存。一些额外的内存会用于压缩（如果引入压缩机制），同样还有一些用于维护请求。 long 33554432   高
compression.type producer用于压缩数据的压缩类型。默认是无压缩。正确的选项值是none、gzip、snappy。压缩最好用于批量处理，批量处理消息越多，压缩性能越好 string none   高
retries 设置大于0的值将使客户端重新发送任何数据，一旦这些数据发送失败。注意，这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序，如果这两个消息记录都是发送到同一个partition，则第一个消息失败第二个发送成功，则第二条消息会比第一条消息出现要早。 int 0   高
batch.size producer将试图批处理消息记录，以减少请求次数。这将改善client与server之间的性能。这项配置控制默认的批量处理消息字节数。不会试图处理大于这个字节数的消息字节数。发送到brokers的请求将包含多个批量处理，其中会包含对每个partition的一个请求。较小的批量处理数值比较少用，并且可能降低吞吐量（0则会仅用批量处理）。较大的批量处理数值将会浪费更多内存空间，这样就需要分配特定批量处理数值的内存大小。 int 16384   高
client.id 当向server发出请求时，这个字符串会发送给server。目的是能够追踪请求源头，以此来允许ip/port许可列表之外的一些应用可以发送信息。这项应用可以设置任意字符串，因为没有任何功能性的目的，除了记录和跟踪 string “”   中
connections.max.idle.ms 关闭连接空闲时间 long 540000   中
linger.ms producer组将会汇总任何在请求与发送之间到达的消息记录一个单独批量的请求。通常来说，这只有在记录产生速度大于发送速度的时候才能发生。然而，在某些条件下，客户端将希望降低请求的数量，甚至降低到中等负载一下。这项设置将通过增加小的延迟来完成–即，不是立即发送一条记录，producer将会等待给定的延迟时间以允许其他消息记录发送，这些消息记录可以批量处理。这可以认为是TCP种Nagle的算法类似。这项设置设定了批量处理的更高的延迟边界：一旦我们获得某个partition的batch.size，他将会立即发送而不顾这项设置，然而如果我们获得消息字节数比这项设置要小的多，我们需要“linger”特定的时间以获取更多的消息。 这个设置默认为0，即没有延迟。设定linger.ms=5，例如，将会减少请求数目，但是同时会增加5ms的延迟。 long 0   中
max.block.ms 控制block的时长,当buffer空间不够或者metadata丢失时产生block long 60000   中
max.request.size 请求的最大字节数。这也是对最大记录尺寸的有效覆盖。注意：server具有自己对消息记录尺寸的覆盖，这些尺寸和这个设置不同。此项设置将会限制producer每次批量发送请求的数目，以防发出巨量的请求。 int 1048576   中
partitioner.class 分区类 实现Partitioner 的class class 
org.
apache.
kafka.
clients.
producer.
internals.
DefaultPartitioner		   中
receive.buffer.bytes socket的接收缓存空间大小,当阅读数据时使用 int 32768   中
request.timeout.ms 客户端将等待请求的响应的最大时间,如果在这个时间内没有收到响应，客户端将重发请求;超过重试次数将抛异常 int 3000   中
send.buffer.bytes 发送数据时的缓存空间大小 int 131072   中
timeout.ms 此配置选项控制server等待来自followers的确认的最大时间。如果确认的请求数目在此时间内没有实现，则会返回一个错误。这个超时限制是以server端度量的，没有包含请求的网络延迟 int 30000   中
max.in.flight.requests.per.connection kafka可以在一个connection中发送多个请求，叫作一个flight,这样可以减少开销，但是如果产生错误，可能会造成数据的发送顺序改变,默认是5 (修改） int 5   低
metadata.fetch.timeout.ms 是指我们所获取的一些元素据的第一个时间数据。元素据包含：topic，host，partitions。此项配置是指当等待元素据fetch成功完成所需要的时间，否则会跑出异常给客户端 long 60000   低
metadata.max.age.ms 以微秒为单位的时间，是在我们强制更新metadata的时间间隔。即使我们没有看到任何partition leadership改变。 long 300000   低
metric.reporters 类的列表，用于衡量指标。实现MetricReporter接口，将允许增加一些类，这些类在新的衡量指标产生时就会改变。JmxReporter总会包含用于注册JMX统计 list none   低
metrics.num.samples 用于维护metrics的样本数 int 2   低
metrics.sample.window.ms metrics系统维护可配置的样本数量，在一个可修正的window size。这项配置配置了窗口大小，例如。我们可能在30s的期间维护两个样本。当一个窗口推出后，我们会擦除并重写最老的窗口 long 30000   低
reconnect.backoff.ms 连接失败时，当我们重新连接时的等待时间。这避免了客户端反复重连 long 10   低
retry.backoff.ms 在试图重试失败的produce请求之前的等待时间。避免陷入发送-失败的死循环中 long 100   低

Consumer配置

Property Default Description
group.id   用来唯一标识consumer进程所在组的字符串，如果设置同样的group id，表示这些processes都是属于同一个consumer group
zookeeper.connect   指定zookeeper的连接的字符串，格式是hostname：port，此处host和port都是zookeeper server的host和port，为避免某个zookeeper 机器宕机之后失联，你可以指定多个hostname：port，使用逗号作为分隔：hostname1：port1，hostname2：port2，hostname3：port3可以在zookeeper连接字符串中加入zookeeper的chroot路径，此路径用于存放他自己的数据，方式：hostname1：port1，hostname2：port2，hostname3：port3/chroot/path
consumer.id null 不需要设置，一般自动产生
socket.timeout.ms 30*1000 网络请求的超时限制。真实的超时限制是 max.fetch.wait+socket.timeout.ms
socket.receive.buffer.bytes 64*1024 socket用于接收网络请求的缓存大小
fetch.message.max.bytes 1024*1024 每次fetch请求中，针对每次fetch消息的最大字节数。这些字节将会督导用于每个partition的内存中，因此，此设置将会控制consumer所使用的memory大小。这个fetch请求尺寸必须至少和server允许的最大消息尺寸相等，否则，producer可能发送的消息尺寸大于consumer所能消耗的尺寸。
num.consumer.fetchers 1 用于fetch数据的fetcher线程数
auto.commit.enable true 如果为真，consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程挂掉时，由新的consumer使用
auto.commit.interval.ms 60*1000 consumer向zookeeper提交offset的频率
queued.max.message.chunks 2 用于缓存消息的最大数目，以供consumption。每个chunk必须和fetch.message.max.bytes相同
rebalance.max.retries 4 当新的consumer加入到consumer group时，consumers集合试图重新平衡分配到每个consumer的partitions数目。如果consumers集合改变了，当分配正在执行时，这个重新平衡会失败并重入
fetch.min.bytes 1 每次fetch请求时，server应该返回的最小字节数。如果没有足够的数据返回，请求会等待，直到足够的数据才会返回。
fetch.wait.max.ms 100 如果没有足够的数据能够满足fetch.min.bytes，则此项配置是指在应答fetch请求之前，server会阻塞的最大时间。
rebalance.backoff.ms 2000 在重试reblance之前backoff时间
refresh.leader.backoff.ms 200 在试图确定某个partition的leader是否失去他的leader地位之前，需要等待的backoff时间
auto.offset.reset largest zookeeper中没有初始化的offset时，如果offset是以下值的回应：smallest：自动复位offset为smallest的offsetlargest：自动复位offset为largest的offsetanything else：向consumer抛出异常
consumer.timeout.ms -1 如果没有消息可用，即使等待特定的时间之后也没有，则抛出超时异常
exclude.internal.topics true 是否将内部topics的消息暴露给consumer
paritition.assignment.strategy range 选择向consumer 流分配partitions的策略，可选值：range，roundrobin
client.id group id value 是用户特定的字符串，用来在每次请求中帮助跟踪调用。它应该可以逻辑上确认产生这个请求的应用
zookeeper.session.timeout.ms 6000 zookeeper 会话的超时限制。如果consumer在这段时间内没有向zookeeper发送心跳信息，则它会被认为挂掉了，并且reblance将会产生
zookeeper.connection.timeout.ms 6000 客户端在建立通zookeeper连接中的最大等待时间
zookeeper.sync.time.ms 2000 ZK follower可以落后ZK leader的最大时间
offsets.storage zookeeper 用于存放offsets的地点： zookeeper或者kafka
offset.channel.backoff.ms 1000 重新连接offsets channel或者是重试失败的offset的fetch/commit请求的backoff时间
offsets.channel.socket.timeout.ms 10000 当读取offset的fetch/commit请求回应的socket 超时限制。此超时限制是被consumerMetadata请求用来请求offset管理
offsets.commit.max.retries 5 重试offset commit的次数。这个重试只应用于offset commits在shut-down之间。
dual.commit.enabled true 如果使用“kafka”作为offsets.storage，你可以二次提交offset到zookeeper(还有一次是提交到kafka）。在zookeeper-based的offset storage到kafka-based的offset storage迁移时，这是必须的。对任意给定的consumer group来说，比较安全的建议是当完成迁移之后就关闭这个选项
partition.assignment.strategy range 在“range”和“roundrobin”策略之间选择一种作为分配partitions给consumer 数据流的策略； 循环的partition分配器分配所有可用的partitions以及所有可用consumer 线程。它会将partition循环的分配到consumer线程上。如果所有consumer实例的订阅都是确定的，则partitions的划分是确定的分布。循环分配策略只有在以下条件满足时才可以：（1）每个topic在每个consumer实力上都有同样数量的数据流。（2）订阅的topic的集合对于consumer group中每个consumer实例来说都是确定的。
备注：从 0.9.0.0版本后，kafkat添加了新的消费者API及对应的consumer配置，有一些较大的变化，这就要求使用对应的kafka-clients(客户端)版本。

来自：****
作者;louisliao_1981
上一篇：Navicat Premium 11.0.10破解补丁


下一篇：aauto攫http数据