Kafka 支持百万级 TPS 的秘密:
(1)顺序写入数据,在 Partition 末尾追加,所以速度最优。
(2)使用 MMAP 技术将磁盘文件与内存映射,Kafka 可以像操作磁盘一样操作内存。
(3)通过 DMA 技术实现零拷贝,减少数据传输次数。
(4)读取数据时配合sendfile直接暴力输出,批量压缩把所有消息变成一个批量文件,合理减少网络IO损耗。
2024-02-16 15:23:58
Kafka 支持百万级 TPS 的秘密:
(1)顺序写入数据,在 Partition 末尾追加,所以速度最优。
(2)使用 MMAP 技术将磁盘文件与内存映射,Kafka 可以像操作磁盘一样操作内存。
(3)通过 DMA 技术实现零拷贝,减少数据传输次数。
(4)读取数据时配合sendfile直接暴力输出,批量压缩把所有消息变成一个批量文件,合理减少网络IO损耗。
下一篇:TPS和QPS的区别和理解