Fulme定义：         Flume是Clourdera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flumens基于流式架构，灵活简单。         Flume最主要的作用就是实时读取服务器本地磁盘的数据，将数据传输到HDFS。   Flume的优点：         （1）可以和任意存储进程集成。         （2）输入的数据速率大于写入目的的存储的速率，Flume会进行缓冲，减小HDFS的压力。         （3）Flume中的事务基于channel，使用了两个事务模型（sender+receiver），确保消息可靠发送。Flume使用两个独立的事务分别负责从source到channel，以及从channel到sink的时间传递。一旦事务中所有的数据全部成功提交到channel，那么source才认为该数据读取完成。同理，只有成功被sink写出去的数据，才会从channel中移除         。 Flume的组成架构         Web-Server-->Agent[Source-->channel-->Sin-->HDFS         Agent:是一个JVM进程，它以事件的形式将数据从源头送至目的地。由三部分组成Source、Channel、Sink。           Source：Source是负责接收数据到Flume Agent的组件，Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling diretory、netcat、sequence generator、syslog、http、legacy。           Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。         Flume自带两种Channel：Memory Channel（复制到全部Channel中）和File Channnel（指定Channel中）。           Menory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。         File Channel是将所有事件写到磁盘。因此在程序关闭或者机器宕机的情况下不会丢失数据。           Sink：Sink不断轮询Channel中的时间且批量地移除它们，并将这些时间批量写入到存储或索引系统、或者被发送到另外一个Flume Agent。         Sink是完全事务性的。在从Channel批量删除数据之前，每个Sink用Channel启动一个事务。批量时间一旦成功写出到储存系统或者下一个Flume Agent，Sink就利用Channel提交事务。事务一旦被提交，该Channel从自己的内部缓冲区删除事件。         Sink组件目的地包括：HDFS、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。           Event：传输单元，Flume数据传输的基本单元，以事件的形式将数据从源头送至目的地。Event由可选的header和载有数据的一个byte array 构成。Header是容纳了key-value字符串对的HashMap。   Flume拓扑结构：   （1）1个Agent的Sink连接另一个Agent的Source                  （2）1个Agent有1个Source，多个Channel和多个Sink                  （3）1个Agent有1个Source，1个Channel和多个文件系统（HDFS、JMS、Agent）                （4）1个Agent有1个Source和多个Sink，传入多个Agent               （5）多个Agent传入1个Agent的Source