一、添加用户(各机器均一致)
添加组: sudo addgroup hadoop
添加用户并到组:sudo adduser -ingroup hadoop hadoop
二、ssh无验证登陆
1、用hadoop登陆,执行:
ssh-keygen -t rsa -P ""
cat .ssh/id_rsa.pub >> .ssh/authorized_keys
完成后,用ssh localhost测试。
2、将服务器的authorized_keys文本文件内容“追加”到各客户端的authorized_keys文件中,将客户端的authorized_keys追加到服务端的authorized_keys文件中。
三、hadoop配置:
1、分别配置以下文件:
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
masters
slaves(Master主机特有)
2、修改环境变量文件
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME:$HADOOP_HOME/bin
3、hadoop启动准备:
首次格式化:hadoop namenode -format
关闭访问墙:service iptables stop
启动:start-all.sh
停止:stop-all.sh
四、hadoop查看
网页查看集群:
http://192.168.157.131:50030、http://192.168.157.131:50070
五、常见问题
1、eclipse插件Permission denied的错误,要在conf/hdfs-site.xml中新增:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
重启hadoop服务。