kafka是什么?
kafka是一个分布式基于发布/订阅的消息系统,它以可水平拓展和高吞吐率而被广泛使用。
kafka的组成
- Broker :kafka集群中的服务器,其不维护数据消费状态,使用磁盘存储,线性读写,速度快。
- Producer:负责发布消息到broker
- Consumer:消息消费者,从broker拉取数据并消费处理。
- Topic:消息的类别,相当于queue,每条消费都必须要指定topic。不同topic的消息分开存储,用户只需指定消息的topic即可生产或消费数据。
- Partition:在物理上把topic分成一个或多个Partition,每个Partition在物理上对应一个文件夹。
- Consumer Group:与Consumer 是一对多的关系,一个消费者属于一个group。
缺点:
- kafka没有消息确认机制,不能确保消息的发送和接受的绝对可靠。
适用场景:
- 常规的消息系统
- 网站活性跟踪工具
- 可操作的监控数据
- 采集操作日志
以上参考:https://mp.weixin.qq.com/s/Ulo5O94iujlBBRv5ssl1Pw