解压
1.解压
tar zxvf /apache-flume版本所在路径 -C /解压后的位置
2.修改名字
mv /apache-flume版本号 flume
3.修改权限
chown -R hadoop:hadoop flume/
4.环境配置
(环境配置需要 root 用户操作)
vi /etc/profile
# set flume environment
export FLUME_HOME=/flume安装路径
export PATH=$PATH:$FLUME_HOME/bin
5.修改配置文件
su - hadoop
source /etc/profile
6.重新命名
dxc/flume的路径/conf
cp /flume-env.sh.template flume-env.sh
7.修改配置文件flume-env.sh
vi /flume的路径/conf/flume-env.sh
# 修改 JAVA_HOME 参数值为 jdk 安装路径
export JAVA_HOME=/jdk的安装路径
8.验证
flume-ng version
9.实验
在flume安装目录中创建 simple-hdfs-flume.conf 文件
cd /flume的路径
vi /flume的路径/simple-hdfs-flume.conf
a1.sources=r1
a1.sinks=k1
a1.channels=c1
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/usr/local/src/hadoop/logs/
a1.sources.r1.fileHeader=true
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://master:9000/tmp/flume
a1.sinks.k1.hdfs.rollsize=1048760
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.rollInterval=900
a1.sinks.k1.hdfs.useLocalTimeStamp=true
a1.channels.c1.type=file
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
10.使用flume-ng agent 命令加载 simple-hdfs-flume.conf 配置信息
flume agent --conf-file simple-hdfs-flume.conf --name a1
Ctrl+c 退出 flume 传输
11.查看文件
hdfs dfs -ls /tmp/flume