Kafka架构模型
Kafka消费速度快:
- 页缓存:找个磁盘当内存;
- kafka采用顺序读写,比固态磁盘快
- 如果消费速度太慢,更改topic的分区个数,就会有很多线程来消费。
flume与kafka的整合
flume监控文件夹,有新文件就搜集起来到kafka队列中
- source:spoolDir Source
- channel:memory channel
- sink:数据到kafka里面
副本默认2
注:仅作笔记。
2021-11-24 23:38:30
flume监控文件夹,有新文件就搜集起来到kafka队列中
副本默认2
注:仅作笔记。