目录
1、Flume简介
实时数据采集
日志采集
日志.log文件 网络采集
flume是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统
支持在日志系统中定制各类数据发送方，用于收集数据。
2、flume架构
flume运行的核心是Agent，flume以agent为最小的独立运行单位。一个agent就是一个JVM
它是一个完整的数据收集工具
含有：source(收集数据，封装)、channel(发送到这)、sink(取出)
event开源从一个地方流向另一个地方
3、flume组件
Client：生产数据，运行在一个独立的线程，客户端
Event：一个数据单元，消息头和消息体组成
Flow：event从源点到达目的点的迁移的抽象
Agent：一个独立的flume进程，每台机器运行一个agent，但是开源包含多个sources，和sinks
Source：数据收集组件
Channel：中转Event的一个临时存储，保存由source组件传递过来的evenr
sink：从channel中读取并移除event，将event传递到flowpipeline中的下一个agent
sink从channel收集数据，运行在一个独立线程。
4、Source
Source是数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到事件（event） 里，然后将事件推入Channel中。 Flume提供了很多内置的Source， 支持 Avro， log4j， syslog 和 http post(body为json格式)。可以让应用程序同已有的Source直接打交道，如AvroSource
5、channel
Channel是连接Source和Sink的组件，大家可以将它看做一个数据的缓冲区（数据队列），它可以将事件暂存到内存中也可以持久化到本地磁盘上， 直到Sink处理完该事件。介绍两个较为常用的Channel， MemoryChannel和FileChannel。
6、Sink
Sink从Channel中取出事件，然后将数据发到别处，可以向文件系统、数据库、 hadoop存数据， 也可以是其他agent的Source。在日志数据较少时，可以将数据存储在文件系统中，并且设定一定的时间间隔保存数据。