kafka的server.properties文件
```host.name```
开始只绑定在了内部IP上,对外网卡无法访问。
把值设置为空的话会kafka监听端口在所有的网卡上绑定。但是在外网访问时,客户端又遇到了```java.nio.channels.ClosedChannelException```
异常信息,server端用tcpdump分析的时候发现客户端有传递kafka所在机器的机器名过来。在client里断点跟踪一下发现是findLeader
的时候返回的元信息是机器名而不是IP。客户端无法解析这个机器名所以出现了前面的异常。
在server.properties 里还有另一个参数是解决这个问题的, advertised.host.name参数用来配置返回的host.name值,把这个参数配置为外网IP地址即可。
这个参数默认没有启用,默认是返回的java.net.InetAddress.getCanonicalHostName
的值,在我的mac上这个值并不等于hostname
的值而是返回IP,但在linux上这个值就是hostname
的值。
除了IP之外,还有PORT,外网对应的PORT也需要修改。以下是server.properties文件对应位置。
# Hostname the broker will advertise to producers and consumers. If not set, it uses the # value for "host.name" if configured. Otherwise, it will use the value returned from # java.net.InetAddress.getCanonicalHostName(). #advertised.host.name=<hostname routable by clients> # The port to publish to ZooKeeper for clients to use. If this is not set, # it will publish the same port that the broker binds to. #advertised.port=<port accessible by clients> |
当Kafka broker启动时,它会在ZK上注册自己的IP和端口号,客户端就通过这个IP和端口号来连接。
在AWS这种IaaS环境下,由于java.net.InetAddress.getCanonicalHostName
调用拿到的HostName是类似ip-172-31-10-199
这样的只有内网才能访问到的主机名,所以默认注册到ZK上的IP是内网才能访问的内网IP。
此时就需要显示指定 advertised.host.name, advertised.listeners参数,让注册到ZK上的IP是外网IP。
例如对于 59.64.11.22 IP对应的broker,需要在 server.properties 配置文件里增加如下三个配置:
advertised.listeners=PLAINTEXT: //59.64.11.22:9092
|
估计读者们也会跟我一样犯迷糊,为什么需要三个参数来配置IP和端口号呢,用一个advertised.listeners
不就搞定了吗?
后来发现最新版本0.10.x broker配置弃用了advertised.host.name
和 advertised.port
这两个个配置项,就配置advertised.listeners就可以了。