Kafka踩坑填坑记录
一、kafka通过Java客户端,消费者无法接收消息,生产者发送失败消息在虚拟机上,搭建了3台集群,然后,在虚拟机上,测试kafka,通过创建topic,生成者发送消息,消费者接收消息,全部正常;
但是,改用Java客户端在进行测试时,生产者发送的消息,无法发送到虚拟机上,消费者也无法接收到任何消息,附下解决方案:
既然,通过命令行工具(kafka-console-producer.sh和kafka-console-consumer.sh)是能够相互通信的,producer发布的信息consumer能够接收到。
那么,需要检查java通过kafka-client的API写的代码始终不能跟kafka通信:java producer的消息发不出去, java comsumer也收不到任何消息。检查下代码中IP、端口都没有写错。
然后,需要检查kafka的配置信息server.properties:
将监听地址从HOSTNAME改为IP地址,即可成功访问。
advertised.listeners=PLAINTEXT://192.168.XX.XX:9092
hostname、port都会广播给producer、consumer。如果你没有配置了这个属性的话,则使用listeners的值,如果listeners的值也没有配置的话,则使用
java.net.InetAddress.getCanonicalHostName()返回值(这里也就是返回localhost了)。
这个地方的问题总的来说就是HOSTNAME和IP不对应的问题,也可在自己本地电脑(windows)下,找到hosts文件,将HOSTNAME和虚拟机集群的IP对应起来,这样应该也能解决问题。
问题实质:host与IP映射问题。
二、