Flume 组件介绍

名称

解析

Event

一个数据单元,带有一个可选的消息头,其实就是一条消息,一个日志;(Kafka 的消息没有消息头,因此,Flume 的消息进入 Kafka 后,消息头就丢失了)

Flow

数据流,Event 从源点到达目的点的迁移的抽象

Client

操作位于源点处的 Event,将其发送到 Flume Agent

Agent

一个独立的 Flume 进程,包含组件 Source、Channel、Sink

Source

用来获取 Event 并写入 Channel

Channel

中转 Event 的一个临时存储,保存有 Source 组件传递过来的 Event,可以认为是一个队列

Sink

从 Channel 中读取并移除 Event,将 Event 传递到 Flow Pipeline 中的下一个 Agent 或者其他存储系统

常用 Source: exec source, kafka source, netcat source, http source, spooling Directory source, tailDirSource, avro source (多层flume 必需)

常用 Channel: file channel, memory channel, kafka channel (有副本机制, 安全性更高) 

常用 Sink: kafka sink, hdfs sink, hbase sink, avro sink

上一篇:Flume


下一篇:flume 1.8.0 开发基础