SIX Spark Streaming 编程初级实践

Flume 官网下载 Flume1.7.0 安装文件,下载地址如下: http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 下载后,把 Flume1.7.0 安装到 Linux 系统的“/usr/local/flume”目录下, ⑴解压安装包 1.cd ~/下载 2.sudo tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local # 将 apache-flume-1.7.0-bin.tar.gz 解压到/usr/local 目录下,这里一定要 加上-C 否则会出现归档找不到的错误 3.cd /usr/local 4.sudo mv ./apache-flume-1.7.0-bin ./flume #将解压的文件修改名 字为 flume,简化操作 5.sudo chown -R hadoop:hadoop ./flume #把/usr/local/flume 目录 的权限赋予当前登录 Linux 系统的用户,这里假设是 hadoop 用户 ⑵配置环境变量 1.sudo vim ~/.bashrc 然后在首行加入如下代码: 1.export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64; 2.export FLUME_HOME=/usr/local/flume 3.export FLUME_CONF_DIR=$FLUME_HOME/conf 4.export PATH=$PATH:$FLUME_HOME/bin 注意,上面的 JAVA_HOME,如果以前已经在.bashrc 文件中设置过,就不要重复添加 了,使用以前的设置即可。比如,以前设置得 JAVA_HOME 可能是“export JAVA_HOME=/usr/lib/jvm/default-java”,则使用原来的设置即可。接下来使环境变量生效: 1.source ~/.bashrc 修改 flume-env.sh 配置文件: 1.cd /usr/local/flume/conf 2.sudo cp ./flume-env.sh.template ./flume-env.sh 3.sudo vim ./flume-env.sh 打开 flume-env.sh 文件以后,在文件的最开始位置增加一行内容,用于设置 JAVA_HOME 变量:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64;

  

注意,你的JAVA_HOME可能与上面的设置不一致,一定要根据你之前已经安装的Java 路径来设置,比如,有的机器可能是:
export JAVA_HOME=/usr/lib/jvm/default-java

  

然后,保存 flume-env.sh 文件,并退出 vim 编辑器。 ⑶查看 flume 版本信息 1.cd /usr/local/flume 2. ./bin/flume-ng version #查看 flume 版本信息; 安装成功   注意:如果系统里安装了 hbase,会出现错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty。如果没有安装 hbase,这一步可以略过。 1.cd /usr/local/hbase/conf 2.sudo vim hbase-env.sh 1.#1、将 hbase 的 hbase.env.sh 的这一行配置注释掉,即在 export 前加一个# 2.#export HBASE_CLASSPATH=/home/hadoop/hbase/conf 3.#2、或者将 HBASE_CLASSPATH 改为 JAVA_CLASSPATH,配置如下 4.export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/t ools.jar  
上一篇:寒假学习进度-9(spark streaming编程初级实践)


下一篇:java.lang.ClassNotFoundException: org.apache.flume.clients.log4jappender.Log4jAppender