Flume 简易实践理论

解压

     1.解压
       tar zxvf /apache-flume版本所在路径 -C /解压后的位置
     
     2.修改名字
       mv /apache-flume版本号 flume
     
     3.修改权限
       chown -R hadoop:hadoop flume/
     
     4.环境配置
       (环境配置需要 root 用户操作)
       vi /etc/profile
       # set flume environment
       export FLUME_HOME=/flume安装路径
       export PATH=$PATH:$FLUME_HOME/bin
     
     5.修改配置文件
       su - hadoop
       source /etc/profile
     
     6.重新命名
        dxc/flume的路径/conf
        cp /flume-env.sh.template flume-env.sh
     
     7.修改配置文件flume-env.sh
        vi /flume的路径/conf/flume-env.sh
        # 修改 JAVA_HOME 参数值为 jdk 安装路径
        export JAVA_HOME=/jdk的安装路径
     
     8.验证
        flume-ng version
        
     9.实验
        在flume安装目录中创建 simple-hdfs-flume.conf 文件
        cd /flume的路径
        vi /flume的路径/simple-hdfs-flume.conf
        a1.sources=r1
        a1.sinks=k1
	    a1.channels=c1
        a1.sources.r1.type=spooldir
        a1.sources.r1.spoolDir=/usr/local/src/hadoop/logs/
        a1.sources.r1.fileHeader=true
        a1.sinks.k1.type=hdfs
    	a1.sinks.k1.hdfs.path=hdfs://master:9000/tmp/flume
        a1.sinks.k1.hdfs.rollsize=1048760
        a1.sinks.k1.hdfs.rollCount=0
        a1.sinks.k1.hdfs.rollInterval=900
        a1.sinks.k1.hdfs.useLocalTimeStamp=true
        a1.channels.c1.type=file
        a1.channels.c1.capacity=1000
        a1.channels.c1.transactionCapacity=100
        a1.sources.r1.channels = c1
        a1.sinks.k1.channel = c1
        
    10.使用flume-ng agent 命令加载 simple-hdfs-flume.conf 配置信息
          flume agent --conf-file simple-hdfs-flume.conf --name a1
          Ctrl+c 退出 flume 传输
    11.查看文件
         hdfs dfs -ls /tmp/flume
上一篇:(lintcode)第11题二叉查找树中搜索区间


下一篇:二叉查找树中搜索区间