问题一:
启动storm时,发现kafka一直读取不了数据,但是查询时,仍有数据没有读取:
一直读取不了,看了下代码,是kafka消费时,一直读取不了数据:
查询,很符合kafka重复读取引起的问题。
详情见链接:Kafka重启Consumer后抓不到数据的问题
确实storm读取时是自动提交的,并且修改group,可以正常运行。
因为是在开发环境,所以只是想测试下storm的功能,想让storm程序跑起来,产生数据流。一般这种问题,直接向topic中插入数据即能读取数据。
所以,可以不是问题一一起的问题。
问题二:group存在问题
后来发现一个查询异常,下面的查询偏移量shell命令只有在有程序使用该group时才能正常使用:
bin/kafka-consumer-groups.sh --bootstrap-server 10.100.3.176:9092 --describe --group jobLog
否则,会连接不上。这个问题一直不知道是什么原因。因为后来组中成员吧kafka重新启动了。
只需要重新启动kafka,这个问题就会解决掉。