Flume 是什么

Flume 是一个开源的分布式数据收集框架，可以提供一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统

当前 Flume 有两个版本 Flume 0.9X 版本的统称 Flume-og，Flume1.X 版本的统称 Flume-ng。由于 Flume-ng 经过重大重构，与Flume-og 有很大不同，使用时请注意区分

Flume 能干什么

• 提供从固定目录下采集日志信息到目的地（HDFS，HBase，Kafka 等）的能力
• 提供实时采集日志信息到目的地的能力
• FLume 支持级联（多个 Flume 联结起来）合并数据的能力
• Flume 支持按照用户定制采集数据的能力

Flume 的特性

• 提供上下文路由特征
• Flume的管道是基于事务，保证了数据在传送和接收时的一致性
• Flume是可靠的，容错性高的，可升级的，易管理的,并且可定制的。
• Flume可以将应用产生的数据存储到任何集中存储器中，比如HDFS,HBase
• 可以被水平扩展
• 当收集数据的速度超过将写入数据的时候，也就是当收集信息遇到峰值时，这时候收集的信息非常大，甚至超过了系统的写入数据能力，这时候，Flume 会在数据生产者和数据收容器间做出调整，保证其能够在两者之间提供平稳的数据.