前段时间搭了下hadoop，每次都会碰到很多问题，也没整理过，每次搜索都麻烦，现在整理下
一.准备工作
1.准备俩计算机，安装linux系统,分别装好jdk（虚拟机操作一样）
nano /etc/hostname 修改hostname
nano /etc/hosts 添加ip及hostname信息
2.计算机信息如下
| 主机名 | ip地址 | 作用 | 启动的进程 |
| test1 | 192.168.155.2 | master/slave | namenode,jobtracker,secondarynamenode |
| test2 | 192.168.155.3 | slave | datanode,tasktracker |
注：要配置多个节点的集群操作一样，我就按着两台来了，配置差不多就行。我的环境：ubuntu13.0.4+jdk1.7+hadoop1.0.4+hbase0.94.3
特别提醒：各台机子使用相同用户名，各安装目录均相同，比如hadoop目录都为/home/smallby/hadoop-1.0.4
3.用户选择
分别创建用户hadoop，属于hadoop用户组
useradd hadoop
cd /home/hadoop
chown -R hadoop /usr/local/hadoop-0.20./
chgrp -R hadoop /usr/local/hadoop-0.20./
4.ssh免登陆
4.1.安装ssh
sudo apt-get install ssh
netstat -nat 查看22端口是否开启了。
ssh localhost 测试ssh,输入密码，回车
4.2.ssh免登陆配置
ssh-keygen -t rsa 生成的密钥对id_rsa，id_rsa.pub
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 把id_rsa.pub追加到授权的key里面去，若无权限使用chmod赋权限
ssh localhost 再次测试,输入yes，发现本机已不用输入密码登陆
scp ~/.ssh/authorized_key test2:/home/hadoop/.ssh/ 测试test2节点，ssh test2，输入yes,成功免密码登陆
二.配置阶段
1.配置hadoop
下载解压缩hadoop-1.0.4至home目录，在home下可看到hadoop-1.0.4目录,进入conf目录
1.1修改hadoop-env.sh
尾部添加
export JAVA_HOME=/home/hadoop/jdk1..0_51 为安装jdk的目录
1.2修改core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://test1:9000</value> //namenode路径
</property>
<property>
<name>hadoop.tmp.dir</name> //hadoop临时路径
<value>/home/hadoop/hadoop_1.0.4/var</value>
</property>
</configuration>
1.3修改hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/name1, /home/hadoop/name2</value> //hadoop的name目录路径
<description> </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/data1, /home/hadoop/data2</value>
<description> </description>
</property>
<property>
<name>dfs.replication</name>
<value></vaue> //俩节点，备份2份。这里的数目不能超过节点数
</property>
</configuration>
1.4修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>test1:</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/hadoop_1.0.4/var</value>
</property>
</configuration>
1.5修改masters,slaves
masters test1 slaves test1
test2
2.配置环境变量
nano ~/.bashrc
尾部添加
#java
export JAVA_HOME=/home/hadoop/jdk1.7.0_51
export PATH=$PATH:$JAVA_HOME/bin
#hadoop
export HADOOP_HOME=/home/hadoop/hadoop-1.0.4
export PATH=$PATH:$HADOOP_HOME/bin
. ~/.bashrc
3.向节点中传送hadoop文件
scp -r /home/hadoop/hadoop-1.0.4 hadoop@test2:/home/hadoop/
4.格式化namenode
hadoop namenode -format
5.启动hadoop
start-all.sh
使用jps在test1看到datanode,namenode,jobtracker,tasktracker,secondnamenode
test2看到datanode,tasktracker
进入test1:50030看到俩节点
6.停止hadoop
stop-all.sh
时间仓促，hbase和eclipse还没整理