flume断点续传(防止重复消费)的解决方案和flume 向hdfs sink写数据小文件过多问题

flume1.7一直都是自己修改源代码实现断点续传,1.7之后出现taildir source实现断点续传。

https://blog.csdn.net/Abysscarry/article/details/89420560

 

小文件过多的解决方案:

https://blog.csdn.net/qq_32502511/article/details/85048594

通过设置合理的参数

(1)hdfs.rollInterval 

(2)hdfs.rollSize

(3)hdfs.rollCount

(4)hdfs.roundValue

(5)hdfs.roundUnit

上一篇:CDH组件的使用-Flume| Kafka| Oozie基于Hue的任务调度


下一篇:由于更改系统时间,flume采集数据到kafka失败