名称 |
解析 |
Event |
一个数据单元,带有一个可选的消息头,其实就是一条消息,一个日志;(Kafka 的消息没有消息头,因此,Flume 的消息进入 Kafka 后,消息头就丢失了) |
Flow |
数据流,Event 从源点到达目的点的迁移的抽象 |
Client |
操作位于源点处的 Event,将其发送到 Flume Agent |
Agent |
一个独立的 Flume 进程,包含组件 Source、Channel、Sink |
Source |
用来获取 Event 并写入 Channel |
Channel |
中转 Event 的一个临时存储,保存有 Source 组件传递过来的 Event,可以认为是一个队列 |
Sink |
从 Channel 中读取并移除 Event,将 Event 传递到 Flow Pipeline 中的下一个 Agent 或者其他存储系统 |
常用 Source: exec source, kafka source, netcat source, http source, spooling Directory source, tailDirSource, avro source (多层flume 必需)
常用 Channel: file channel, memory channel, kafka channel (有副本机制, 安全性更高)
常用 Sink: kafka sink, hdfs sink, hbase sink, avro sink