flume中的agent配置和启动

首先创建一个文件example.conf(touch example.conf)
然后在文件中,进行agent文件的如下的配置(vi  example.conf)
 
agent文件的配置:(配置agent文件的时候主要配置flume三个‘零部件’的重要的属性,三个部件分别为sources,channels,sinks)配置如下的默认值:
a1.sources=r1
a1.sinks=s1
a1.channels=c1

Flume模块source配置:

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=44444
 
netcat 监控某个端口,将流经端口的每一个文本行数据作为Event输入
bind中是要添加 ip地址或主机名
port中是要添加绑定主机的端口
 
Flume模块sinks配置:
a1.sinks.k1.type=logger
logger数据写入日志文件(打印出来)
 
Flume模式channels配置:
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
 
momory event数据存储到内存中,缓存数据
1000 缓存的数据是1000条
100 每个事物缓存的最大单元数目
 
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
配置sources,sinks文件与channel的关系
 
配置好文件如下图所示:
flume中的agent配置和启动
保存后开始启动telnet
输入命令:
flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console
flume中的agent配置和启动
flume中的agent配置和启动
 
出现上述的结果即是,完成配置
 
由于flume中的启动需要使用telnet,所以需要安装telnet
先检查该系统是否安装telent
执行命令:rpm -qa telnet
flume中的agent配置和启动
如果存在可以先删除
执行命令:rpm -e telnet 
 
然后执行命令:yum list telnet 
flume中的agent配置和启动
 
再执行命令:yum intall telnet.x86_64  
Is this ok [y/N]:  输入命令:y
 flume中的agent配置和启动
 
 
然后执行telnet localhost 44444的命令,即可出现下面的结果:
flume中的agent配置和启动
在端口输入数据,这时配置的文件就会处理该字符串,最后打印出来日志文件
在该端口输入:
hello word
flume中的agent配置和启动
这时日志文件就会被打印出来:
flume中的agent配置和启动
如果出现不了,出现Connection refused 
flume中的agent配置和启动
 
多半是配置文件(example.conf)的内容书写错误,认真检查一遍,即可解决问题
上一篇:关于磁盘错误disk error


下一篇:深入理解java虚拟机【Java内存结构】