flume1.7一直都是自己修改源代码实现断点续传,1.7之后出现taildir source实现断点续传。
https://blog.csdn.net/Abysscarry/article/details/89420560
小文件过多的解决方案:
https://blog.csdn.net/qq_32502511/article/details/85048594
通过设置合理的参数
(1)hdfs.rollInterval
(2)hdfs.rollSize
(3)hdfs.rollCount
(4)hdfs.roundValue
(5)hdfs.roundUnit