flume用场景及架构原理

flume用场景及架构原理

Flume是什么

flume用场景及架构原理

1.flume可以将采集到的数据存储到HDFS上,也可以放在Hbase上。

2.flume就是一个中间插件,他的作用就是屏蔽数据源和数据存储系统的差异。可以在不同的数据源采集数据,因为数据源是多样化的。

数据源的多样化和数据存储系统的多样化,flume作为一个中间插件把数据源和存储系统实现多对多的关系。

Flume的优点

flume用场景及架构原理

Flume OG与NG区别

flume用场景及架构原理

Flume NG基本架构

flume用场景及架构原理

1.Agent由Source 、 channel sink组成。

2.Source是用来获取数据,可以从文本文件中和系统日志中和HTTP中获取数据。Source 获取数据传给后面的Agent

3.channel 在source sink之间作为数据的缓存,sink的数据不能及时传输出去,可以讲数据缓存的内存或者磁盘上面,数据缓存在内存和磁盘中是不同的,在内存中断电了数据就丢失,磁盘的就不会。

flume用场景及架构原理

1.Agent3也是可以去掉的,不过在这里起到缓冲的过程。比如说Agent3前面的agent个数非常多,没有经过Agent3的汇总,将会有大量的小文件直接写到HDFS上,非常不利于存储,

因为我们知道HDFS适合存储大文件而不适合大量的小文件。

2.当然如果数据量不大的话就不需要Agent3这样的多级Agent了,根据实际情况来选择适合的方式。

Flume NG核心概念

flume用场景及架构原理

Flume NG核心概念--Event

flume用场景及架构原理

Flume NG核心概念--Client

flume用场景及架构原理

Flume NG核心概念--Agent

flume用场景及架构原理

Flume NG核心概念--Source

flume用场景及架构原理

flume用场景及架构原理

Flume NG核心概念--channel和 sink

flume用场景及架构原理

Flume NG核心概念--channel

flume用场景及架构原理

磁盘channel 是通过预写日志的方式来实现,就是在数据写成功之前先写log,日志写成后我们就任务数据写成功了,如果日志写成功了,数据没写成功,重启之后我们可以通过这个日志来恢复数据

Flume NG核心概念--sink

flume用场景及架构原理

上一篇:面向对象(java菜鸟的课堂笔记)


下一篇:20155226 《网络攻防》 Exp1 PC平台逆向破解(5)M