教程目录
0x00 教程内容- Flume的使用
- 简单讲解
安装Flume,请参考教程:
D009 复制粘贴玩大数据之安装与配置Flume集群
非常简单,一解压就行了!
1. 编写配置文件
a. 编写配置文件cd ~/bigdata/apache-flume-1.8.0-bin
vi conf/example.conf
a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
a1.sinks.k1.type = logger
a1.channels.c1.type = memory
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
2. 安装telnet
a. 上传相关rpm包到master
b. 安装rpm包(按顺序安装)sudo rpm -ivh xinetd-2.3.14-39.el6_4.x86_64.rpm
sudo rpm -ivh telnet-0.17-47.el6.x86_64.rpm
sudo rpm -ivh telnet-server-0.17-47.el6.x86_64.rpm
c. 查看状态:rpm -q telnet
rpm -q telnet-server
d. 配置Telnet,修改服务disable为nosudo vi /etc/xinetd.d/telnet
e. 重启服务(telnet服务是由xinetd守护的)service xinetd restart
3. 校验结果
a. 在终端1启动(处于待输入状态)bin/flume-ng agent --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/example.conf --name a1 -Dflume.root.logger=INFO,console
b. 打开另一终端2telnet localhost 44444
然后随便输入内容:I am shaonaiyi.
c. 切换回终端1,可以看到我们的结果:
1. 流程讲解
a. 其实学习Flume,就是在学习如何配置,需要多看一下官网,版本不同,配置也会有所区别,如果操作不成功,很可能是配置文件写错了。
b. 配置文件主要有四部分:
source、channel、sink,还有将组件连接起来
2. 组件讲解
a. Source
此处是netcat类型,官网其实还有netcatudp
b. Channel
此处是memory类型
c. Sink
此处是输出到控制台
3. 其他讲解
a. 输出日志的方式
执行时添加下面这个参数,是指定输入信息到控制台,如果不加,会默认将日志输入到logs文件夹:-Dflume.root.logger=INFO,console
b. 配置文件注意事项
这里可以使用多节点操作,比如说在slave1中启动flume,在master上执行telnet也可以。
但有个点需要特别注意:
如果flume配置文件里绑定的主机是localhost,即本地主机,则无法进行多节点操作:a1.sources.r1.bind = localhost
如果想要多节点,应该将localhost,修改成ip或者配置了映射关系的主机名。
举例:想在master发送信息,然后让slave1接收,则master可以执行:telnet 192.168.128.132 44444
或者telnet slave1 44444
而slave1则相对于地应该是:a1.sources.r1.bind = 192.168.128.132
或者a1.sources.r1.bind = slave1
过程截图:
slave1也可以收到信息:
- 自行了解event的结构
- 安装好后,就可以与Kafka、HDFS等结合操作了
- 其实,如果你配置好了JAVA_HOME等环境变量,flume直接解压就可以使用了,即不修改配置文件(
flume-env.sh.template
)也是可以的。如果到目前为止,flume其实就只是写了个配置文件而已,如果发现自己在操作的时候错了,极大一个可能就是配置文件写错了,回去看看配置文件有什么问题。
作者简介:邵奈一
全栈工程师、市场洞察者、专栏编辑
公众号、微博、CSDN:邵奈一
本系列课均为本人:邵奈一原创,如转载请标明出处
福利:
邵奈一的技术博客导航