消费语义
at most once:最多消费一次,消息可能会丢失-------log日志
at least once:至少消费一次,但是会重复消费 例如手动异步提交offset
exactly once:正好一次,不丢失,不重复
0.10.0.1不支持,官方说0.11已支持
例子
1.log日志允许丢失 使用第一种
2.log日志算钱的不允许丢,使用第二种+去重+redis
部分公司去重方法,对每一条日志取一个hash值,存放到redis里面,如果redis里面有了,就不放到下游去处理
3.mysql sql语句入库 选择第二种并使用hbase的put保证去重复。
insert into。。。1;
insert into。。。2;
insert into。。。3;