hadoop学习笔记——环境搭建

 

基础环境准备:

系统:VirtualBox:ubuntu 12.04

hadoop版本:hadoop-0.20.203.0rc1.tar.gz

 

在Ubuntu下创建hadoop用户组和用户

$ sudo addgroup hadoop

$ sudo adduser --ingroup hadoop hadoop

================================================================================

hadoop实战之安装与单机模式


--------------------------------------------------------------------------------
1. 下载最新的hadoop安装包,这里我使用的是hadoop-0.20.203.0rc1.tar.gz版本。

下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-0.20.203.0/hadoop-0.20.203.0rc1.tar.gz

2. 解压压缩包到自己的目录,比如解压到/home/hadoop/data目录下(tar –zxvf hadoop-0.20.203.orc1.tar.gz),为了后面说明方便,这里把/home/hadoop/data/hadoop-0.20.203.0定义为$HADOOP_HOME;
3. 修改$HADOOP_HOME/conf/hadoop-env.sh文件,将JAVA_HOME指定到正确的jdk路径上(echo $JAVA_HOME查看);
4. 进入$HADOOP_HOME目录下执行以下命令,将会得到hadoop命令的帮助;
  $ bin/hadoop
5. 进入$HADOOP_HOME目录下执行以下命令来测试安装是否成功
  $ mkdir input
  $ cp conf/*.xml input
  $ bin/hadoop jar hadoop-examples-*.jar grep input output ‘dfs[a-z.]+‘
  $ cat output/*

输出:

hadoop@ubuntu-V01:~/data/hadoop-0.20.203.0$ cat output/*
1    dfsadmin

经过上面的步骤,如果没有出现错误就算安装成功了。

================================================================================

hadoop实战之伪分布式模式


--------------------------------------------------------------------------------
Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行,这种运行方式的配置和操作如下:

关于hadoop的安装和测试可以参考...
这里仍假定${HADOOP_HOME}为位置是/home/hadoop/data/hadoop-0.20.203.0
1. 修改hadoop配置
1.1 编辑${HADOOP_HOME}/conf/core-site.xml文件,内容修改如下:
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>
1.2 编辑${HADOOP_HOME}/conf/hdfs-site.xml文件,内如修改如下:
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
1.3 编辑${HADOOP_HOME}/conf/mapred-site.xml文件,内如修改如下:
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

2. 设置linux上ssh是用户可以自动登录
$ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3. 格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format

4. 执行hadoop
4.1 启动hadoop后台daemon
$ bin/start-all.sh
启动后可以通过网页方式查看NameNode和JobTracker状态
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
4.2 复制文件到分布式文件系统上
$ bin/hadoop fs -put conf input
4.3 运行测试
$ bin/hadoop jar hadoop-examples-*.jar grep input output ‘dfs[a-z.]+‘

4.4 获取测试程序的执行结果
$ bin/hadoop fs -cat output/*

输出:

hadoop@ubuntu-V01:~/data/hadoop-0.20.203.0$ bin/hadoop fs -cat output/*
2 dfs.replication
1 dfs.server.namenode.
1 dfsadmin


4.5 停止hadoop后台daemon
$ bin/stop-all.sh

================================================================================

hadoop实战之分布式模式

 

--------------------------------------------------------------------------------
1. 首先为hadoop的集群准备几台机器,这里机器名如下:
ubuntu-V01(master)
ubuntu-V02(slave1)
ubuntu-V03(slave2)

2. 修改每个机器的/etc/hosts文件,确保每个机器都可以通过机器名互相访问;

3. 在上面每个机器上的相同位置分别安装hadoop,这里安装的都是hadoop-0.20.203.0rc1.tar.gz包,并且假定安装路径都是/home/hadoop/data/hadoop-0.20.203.0;

4. 修改所有机器上的${HADOOP_HOME}/conf/hadoop-env.sh文件,将JAVA_HOME指定到正确的jdk路径上;

5. 修改master机器上的${HADOOP_HOME}/conf/slaves文件,修改后文件内容如下:
ubuntu-V02
ubuntu-V03

6. 修改和部署配置文件
6.1 编辑${HADOOP_HOME}/conf/core-site.xml文件,内容修改如下:
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://ubuntu-V01:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/data/hadoop-0.20.203.0/hadoop-${user.name}</value>
  </property>
</configuration>
6.2 编辑${HADOOP_HOME}/conf/hdfs-site.xml文件,内如修改如下:
<configuration>
  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>
</configuration>
6.3 编辑${HADOOP_HOME}/conf/mapred-site.xml文件,内如修改如下:
<configuration>
  <property>
      <name>mapred.job.tracker</name>
      <value>ubuntu-V01:9001</value>
  </property>
</configuration>
6.4 将以上三个配置文件分别部署的每个slave节点上;

7. 格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format

8. 执行hadoop
8.1 启动hadoop后台daemon
$ bin/start-all.sh
启动后可以通过以下网页方式查看NameNode和JobTracker状态,此时可以从NameNode状态网页上看到"Live Nodes"的数量变成了两个,此时表示已经部署成功
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
8.2 运行测试
在hadoop默认提供了一些可以运行的测试工具在安装包目录下,下面就用这些测试程序来验证分布式模式是否成功

8.2.1 测试一
运行下面的命令将从本地复制一个文件到hdfs文件系统的/test/目录下
$ bin/hadoop fs -copyFromLocal /home/hadoop/data/hadoop-0.20.203.0/hadoop-examples-0.20.203.0.jar /test/hadoop-examples-0.20.203.0.jar
运行下面的命令将显示hdfs文件系统上/test/目录下的文件
$ bin/hadoop fs -ls /test/
输出结果如下:
Found 1 items
-rw-r--r--   1 hadoop hadoop     15741 2014-01-25 16:22 /test/hadoop-examples-0.20.203.0.jar
运行完上面的命令以后,可以通过http://localhost:50070/来查看hdfs上的文件,此时可以看到slave节点上已经有刚才命令上传的文件存在了。

8.2.2 测试二
运行下面的命令
$ bin/hadoop jar hadoop-examples-0.20.203.0.jar sleep 300
然后访问http://localhost:50030/,可以看到会有job在cluster里运行

8.2.3 测试三
首先准备数据,下面两个命令是在hdfs上创建一个/test/input目录,然后从本地复制一下文件到此目录下
$ bin/hadoop fs -mkdir /test/input
$ bin/hadoop fs -copyFromLocal /home/hadoop/data/hadoop-0.20.203.0/conf/*.xml /test/input
运行测试来查找一些字符串
$ bin/hadoop jar hadoop-examples-*.jar grep /test/input /test/output ‘dfs[a-z.]+‘
查看测试结果
$ bin/hadoop fs -ls /test/output/
$ bin/hadoop fs -cat /test/output/part-00000

8.3 停止hadoop后台daemon
$ bin/stop-all.sh

================================================================================

hadoop实战之动态添加节点


--------------------------------------------------------------------------------
假定已经有了一个hadoop cluster环境,并且已经有了两个slave节点ubuntu-V02和ubuntu-V03,这里需要动态添加一个新的节点ubuntu-V04.

1. 修改${HADOOP_HOME}/conf/slaves文件,在其中添加一个新的slave节点,比如
ubuntu-V02
ubuntu-V03
ubuntu-V04(新节点)

2. 登录到新添加的slave节点上,进入${HADOOP_HOME}目录并运行以下命令:
$ bin/hadoop-daemon.sh start datanode
$ bin/hadoop-daemon.sh start tasktracker

3. 验证添加是否成功
3.1 访问http://localhost:50070/可以看到"Live Nodes"的数量就从2变成了3;
3.2 也可以通过以下命令行来验证是否成功
$ bin/hadoop dfsadmin -report

================================================================================

 

参考:

http://hadoop.apache.org/docs/r0.19.1/cn/index.html 

http://hadoop.apache.org/docs/r1.0.4/cn/index.html

hadoop学习笔记——环境搭建

上一篇:openstack 管理二十八 - rpm 方式部署 openstack [keystone]


下一篇:文本框限制字数输入无刷新提示