主要是在自学一些根据以下两份文档来自己摸索。第二份文档是最后的时候,碰到一个问题的搜到的,因为觉得不错。所以放在这里。如果只是想要能跑起来的话,直接跟着这篇文章做。就可以。hadoop版本为2.0.5
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html
http://www.cnblogs.com/JulyZhang/p/3156876.html
下面来列举我在安装过程中碰到的问题。
1)环境变量。
#Hadoop export HADOOP_COMMON_HOME=/home/chandler/hadoop export HADOOP_HDFS_HOME=/home/chandler/hadoop export HADOOP_MAPRED_HOME=/home/chandler/hadoop export HADOOP_YARN_HOME=$HADOOP_MAPRED_HOME export HADOOP_CONF_DIR=/home/chandler/hadoop/conf export YARN_CONF_DIR=$HADOOP_CONF_DIR export PATH=$HADOOP_YARN_HOME/bin:$PATH
这是我添加的所有的环境变量。我现在也没办法确认是否多加或者少加了。这是在部署的时候一个一个实验过来的。在这里,有一个小技巧。就是有些东西你必须到脚本里面去找。然后用echo命令打出来,看看自己陪的对不对。
当然这也不是一个很好的办法。我也争取以后能够在官网上找到关于这些信息的表。
2)log。
在这里会有一个让人产生疑惑的地方。就是在console里面打出来的信息。说的是日志什么都输出到.out为扩展名。但是关于错误的log。都是产生在同名的。但是扩展名为.log的文件中。这个要注意的。
3)关于启动顺序。
这个估计和理解有关。我在尝试的时候,先入为主的以为,master和slave是独立启动的。master启动之后,然后再到slave的机器上去。启动slave的线程。这样比较容易扩展。
教程上,启动顺序是master上面启动,然后master通过ssh连接到slave上,自动启动slave的进程。
后来搜了一下,热插拔的方式其实也有,不过我还没有尝试过。