1. 概述
- Flume 是一个
分布式、可靠、高可用的海量日志采集、聚合和传输的系统； - Flume 可以采集文件、socket数据包、文件、目录、Kafka等
各种形式数据源，又可以将采集到的数据（下沉 sink）输出到 HDFS、HBase、Hive、Kafka等众多外部存储系统中； - 一般的采集需求，通过对 Flume 的简单配置即可实现；
- Flume 针对特殊场景也具备良好的自定义扩展能力，因此，Flume 适用于大部分的日常数据采集场景；
2. 运行机制
Flume 分布式系统中最核心的角色是 agent，Flume 采集系统就是由一个个 agent 所连接起来形成的；
每一个 agent 相当于一个数据传递员，内部有三个组件：
- Source：` 采集组件，用于与众多数据源对接，以获取数据；
- Channel：` 传输通道组件，用于从 Source 将数据传递到 Sink；
- Sink：` 下沉组件，用于往下一级 agent 传递数据 或者 往最终存储系统传递数据；