kafka消费读取不了

问题一:

启动storm时,发现kafka一直读取不了数据,但是查询时,仍有数据没有读取:

kafka消费读取不了

 

一直读取不了,看了下代码,是kafka消费时,一直读取不了数据:

查询,很符合kafka重复读取引起的问题。

详情见链接:Kafka重启Consumer后抓不到数据的问题

确实storm读取时是自动提交的,并且修改group,可以正常运行。

因为是在开发环境,所以只是想测试下storm的功能,想让storm程序跑起来,产生数据流。一般这种问题,直接向topic中插入数据即能读取数据。

 

所以,可以不是问题一一起的问题。

问题二:group存在问题

后来发现一个查询异常,下面的查询偏移量shell命令只有在有程序使用该group时才能正常使用:

bin/kafka-consumer-groups.sh --bootstrap-server 10.100.3.176:9092 --describe --group jobLog

否则,会连接不上。这个问题一直不知道是什么原因。因为后来组中成员吧kafka重新启动了。

只需要重新启动kafka,这个问题就会解决掉。

 

上一篇:最新《大数据实时计算系统Storm从基础概念到深入学习》


下一篇:大数据处理基本过程