1. Kafka 基础知识与概念
-
Apache Kafka: 开源分布式事件流平台,用于实时数据处理与传输。
-
主要用途: 大数据实时处理、日志聚合与传输、消息队列与微服务集成、网站活动追踪与用户行为分析、数据集成。
2. Kafka 架构与设计
-
Producer: 发布消息到 Kafka 集群的应用程序。
-
Broker: Kafka 集群的服务器节点,存储并转发消息。
-
Consumer: 从 Kafka 读取消息并处理的应用程序。
-
Topic: 消息的逻辑分类或通道名称。
-
Partition: 每个 Topic 可被划分为多个 Partition,提高并发处理能力。
3. Kafka 消息顺序性保证
-
分区: 每个 Partition 内部消息有序。
-
单生产者到单 Partition: 保证消息顺序。
-
同步发送: acks=all 确保消息被所有 ISR 写入。
-
消息偏移量: 每个消息的唯一标识,保证消费顺序。
4. Kafka 消息存储
-
Log Segments: 物理存储消息的文件,每个 Partition 由多个 Segments 组成。
-
Segment 命名与滚动: 达到预设大小或时间阈值时滚动。
-
删除策略: 定期删除旧 Segment 释放空间。
5. Kafka 高可用性与分区机制
-
副本机制: 每个 Partition 有多个副本分布在不同 Broker 上。
-
ISR 列表: 维护当前活跃副本集,确保数据一致性。
-
控制器 Broker: 管理集群元数据。
6. Kafka 架构与集群工作方式
-
生产者发送消息: 消息按分区策略分配到不同 Partition。
-
Broker 存储消息: 追加到 Partition 日志。
-
消费者订阅消费消息: 通过订阅 Topic 消费消息。
-
副本和故障转移: Leader 处理请求,Follower 同步数据。
7. Kafka 副本机制
-
分区副本: 每个 Partition 有 Leader 和 Follower。
-
ISR 列表: 与 Leader 保持同步的 Follower 集合。
-
数据不丢失保证: 生产者确认策略、副本故障处理、最小 ISR 配置。
8. Kafka 消息传递语义
-
At-Least-Once: 消息至少被处理一次,可能多次。
-
At-Most-Once: 消息最多被处理一次,可能未处理。
-
Exactly-Once: 消息恰好被处理一次。
9. Kafka 性能与优化
-
影响因素: 硬件资源、配置参数、架构设计。
-
调优方法: 硬件优化、配置调优、架构设计优化。
10. Kafka 批处理机制
-
生产者批处理: 累积消息后批量发送。
-
消费者批处理: 一次性拉取多个消息。
11. Kafka 消息积压处理
-
增加分区和消费者数量: 提高消费速率。
-
提高消费批次大小: 减少拉取频率。
-
优化消费逻辑: 提升处理速度。
12. Kafka 延时问题解决方案
-
优化网络和硬件: 提升传输和处理速度。
-
调整批处理策略: 平衡吞吐量与延迟。
-
增强消费者能力: 提升处理速度。
13. Kafka 故障排查与安全性
-
Broker 宕机影响: 分区不可用,数据丢失风险。
-
恢复措施: 配置多个副本、监控警报、自动故障转移。
14. Kafka 监控与诊断
-
使用 Kafka 内置指标: 监控集群状态。
-
监控 ZooKeeper: 确保元数据管理稳定。
-
使用工具和平台: Kafka Healthcheck、管理工具。
15. Kafka 安全特性
-
连接认证: SSL/TLS、SASL、OAuth。
-
授权: 使用 ACL 实现细粒度控制。
16. 多租户环境下 Kafka 安全隔离
-
物理或逻辑集群隔离: 区分不同租户数据。
-
主题和分区隔离: 独立主题或使用前缀区分。
-
认证与授权: 确保合法租户访问。
-
网络隔离: 使用网络策略限制访问。
-
加密: 通信加密,增强数据安全性。
-
日志清理与保留策略: 管理数据合规性。
-
监控与审计: 记录审查访问请求。