hadoop-1.2.0安装记录

一、添加用户(各机器均一致)

    添加组: sudo addgroup hadoop
    添加用户并到组:sudo adduser -ingroup hadoop hadoop

二、ssh无验证登陆

    1、用hadoop登陆,执行:

    ssh-keygen -t rsa -P ""

    cat .ssh/id_rsa.pub >> .ssh/authorized_keys

    完成后,用ssh localhost测试。

    2、将服务器的authorized_keys文本文件内容“追加”到各客户端的authorized_keys文件中,将客户端的authorized_keys追加到服务端的authorized_keys文件中。

三、hadoop配置:

    1、分别配置以下文件:

    hadoop-env.sh

    core-site.xml

    hdfs-site.xml

    mapred-site.xml

    masters

    slaves(Master主机特有)

    2、修改环境变量文件

    export HADOOP_HOME=/usr/hadoop

    export PATH=$PATH:$HADOOP_HOME:$HADOOP_HOME/bin

    3、hadoop启动准备:

    首次格式化:hadoop namenode -format

    关闭访问墙:service iptables stop

    启动:start-all.sh

    停止:stop-all.sh

    四、hadoop查看

    网页查看集群:
           http://192.168.157.131:50030、http://192.168.157.131:50070

五、常见问题

    1、eclipse插件Permission denied的错误,要在conf/hdfs-site.xml中新增:

    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

    重启hadoop服务。

上一篇:Hadoop工程师面试题(1)--MapReduce实现单表汇总统计


下一篇:mysql运算符的优先级