Ubuntu下Hadoop快速安装手册

http://www.linuxidc.com/Linux/2012-02/53106.htm

一、环境

Ubuntu 10.10+jdk1.6

二、下载&安装程序

1.1 Apache Hadoop:

下载Hadoop Relase:http://hadoop.apache.org/common/releases.html

解压:tar xzf hadoop-x.y.z.tar.gz

1.2 安装JDK1.6:sudo apt-get install sun-java6-jdk

三、配置环境变量&配置文件

1.环境变量

export HADOOP_INSTALL=/opt/hadoop-0.20.2/ (Hadoop解压目录)

export PATH=$PATH:$HADOOP_INSTALL/bin

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_CONF_DIR=$HADOOP_INSTALL/conf

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JDK目录)

2.配置Hadoop

2.1设置hadoop JAVA_HOME

打开$HADOOP_INSTALL/conf/hadoop-env.sh,配置JAVA_HOME如下图:

2.2 设置hadoop ,hdfs,mapreduce(伪集群设置,其它参考文档)

2.2.1设置core-site.xml,如下:

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000/</value>

</property>

<property>

<!-- 注意:一定要设置此项,dfs,mapreduce,tmp文件都存放此处;

否则dfs,mapreduce将默认存放在系统临时目录下(/tmp),

系统重启后,以前的所有操作将消失。--!>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/john/hadoop/</value>

</property>

</configuration>

具体配置项参考: hadoopinstal/doc/core-default.html

2.2.2 设置hdfs-site.xml,如下:

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<configuration>

具体配置项参考: hadoopinstal/doc/hdfs-default.html

2.2.3设置mapred-site.xml,如下:

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

<configuration>

具体配置项参考: hadoopinstal/doc/mapred-default.html

四、Format Hadoop&Run Hadoop

控制台执行命令:hadoop namenode -format

运行:start.all.sh

验证是否安装成功:

浏览器:http://localhost:50030

(localhost Hadoop Map/Reduce Administration)

http://localhost:50070

(NameNode‘localhost.localdomain:8020‘)

五、安装Eclipse plugin

对与不同Hadoop版本,需要不同的plugin,需要自己编译,在0.20.2版本一下,的release包里都有编译好的plugin,位置 在(解压目录/contrib/eclipse-plugin/)。编译plugin问题很多,如果需先赌为快,建议安装0.20.2版。直接把 hadoop-*-eclipse-plugin.jar,cp到”eclipse安装目录/eclise/plugins”

注意,一定不要修改hadoop-*-eclipse-plugin.jar名称,然后重新启动eclipse即可,

查看插件如下图:

Ubuntu下Hadoop快速安装手册

上一篇:更改标题点击链接路径到编辑页面


下一篇:曾经号称百万大军的个人站长们为何悲情?