在搭建完成Kafka消费系统后,启动消费程序取消费平台得数据,出现如下得错误:
报错信息:
2021/05/24 16:55:17 118 INFO authenticator.AbstractLogin:59 - Successfully logged in. 2021/05/24 16:55:17 150 INFO utils.AppInfoParser:83 - Kafka version : 0.10.2.0 2021/05/24 16:55:17 150 INFO utils.AppInfoParser:84 - Kafka commitId : 576d93a8dc0cf421 2021/05/24 16:55:18 252 INFO internals.AbstractCoordinator:573 - Discovered coordinator storage12.babel:7667 (id: 2147483645 rack: null) for group aa-group-02. 2021/05/24 16:55:18 253 INFO internals.AbstractCoordinator:618 - Marking the coordinator storage12.babel:7667 (id: 2147483645 rack: null) dead for group aa-group-02
反复检查消费程序得配置信息,最后发现,接收平台数据得三塔集群机器均没有配置对应得生产者集群得平台信息,即未在集群平台本地得hosts文件中添加对应得生产者平台的IP对应信息导致。
找平台组做更改,然后再消费数据,解决当前的出错信息。
更改的命令如下:
//查看本地的集群主机hosts文件配置信息
more /etc/hosts
//通过命令修改添加对应的生产者平台的hosts信息[改配置修改必须是在管理员账户下才能修改,其他用户修改无效]
vim /etc/hosts
//通过按”i“键输入对应的生产者平台的hosts信息
192.xxx.xx.11 storage11.babel storage11
192.xxx.xx.12 storage12.babel storage12
192.xxx.xx.13 storage13.babel storage13
完成后按”Esc“,手动输入”:wq!“即可保存对应的信息
至此解决对应的相关信息
对于其他报错,可能是对应的生产者和消费者的版本不对应,以及在做消费处理时,发现消费的数据处理会消耗大量时间,导致最后的连接的失败。
参考的文章如下:
https://www.freesion.com/article/1169969839/
可根据对应的操作变更自己消费组中的配置属性信息。