Kafka源码依赖于Scala环境,首先需要安装scala,这块请自行百度进行安装。
当然,我们要分析源码,需要下载源码,请自行从github上面下载。
说明:本文使用的kafka版本为0.10.0.1,这是目前公司使用的版本。
下面说明下kafka源码的工程结构:
下面主要对core目录模块进行说明,这块是kafka的核心。
- admin:管理员模块,操作和管理topic,paritions相关,包含create,delete topic,扩展patitions
- api:这块主要负责数据的组装,客户端和服务端数据交互的组装
- client:这个模块比较简单,只有一个类,主要是获取一些元数据,包括topic、broker等
- cluster:该模块定义了几个在kafka中比较重要的类:Broker,BrokerEndPoint,Cluster,EndPoint,Partition,Replica等,后续我们会对他们之间的关系进行分析
- common:通用类,定义了一些异常类等等
- consumer:comsumer处理模块,负责与消费者相关的操作
- controller:负责*控制器选举,partition的leader选举,副本分配,副本重新分配,partition和replica扩容
- coordinator:协调器,rebalance的一些协调器,比如延迟心跳等
- javaapi:kafka提供出来的java生产消费的api
- log:文件存储模块,负责读写所有kafka的topic消息数据,也就是消息持久化模块
- message:封装多个消息组成一个“消息集”或压缩消息集
- metrics:内部状态监控模块
- network:kafka的网络处理模块,负责接受和处理客户端连接
- producer:生产者模块,包括同步和异步发送消息
- security.auth:安全认证模块
- serializer:序列化和反序列化工具
- server:kafka服务启动相关内容
- tools:工具模块,内容挺多,主要是与kafka相关的工具
- utils:通用工具模块,包括zk等等
- Kafka:程序入口