布式实时日志系统(三) 环境搭建之centos 6.4下hadoop 2.5.2完全分布式集群搭建最全资料

最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费处理,短期数据落地到 hbase、mongo中,长期数据进入 hadoop 中存储。 接下来打算将这其间所遇到的问题、学习到的知识记录整理下,作为备忘,作为分享,带给需要的人。

hadoop 简介,也可以去官网看介绍 :(slideshare PPT 分享服务在大陆是被墙的,不能*?查看使用*服务享受*网络学习方法)

在搭建 hadoop 集群的过程中还是遇到很多问题的,我尽量的以初学者的口吻来写这篇文章,尽量做到详尽,当然不明白、不清楚的地方可以随时留言或找到我的联系方式与我沟通。

一、总体环境说明

操作系统: cenos 6.4 ,三台192.168.9.92、192.168.9.93、192.168.9.94
jdk版本: 1.7.0_75
hadoop版本: 2.5.2 (目的与hbase兼容)

hadoop集群3个节点,一主两从,如下:

角色 ip 用户 运行进程
master 192.168.9.92 hadoop JobHistoryServer,ResourceManager,NameNode,NodeManager,DataNode,Main
slave1 192.168.9.93 hadoop NodeManager,DataNode
slave2 192.168.9.94 hadoop NodeManager,DataNode

二、设置环境变量

安装 hadoop 前需要提前配置好三台机器的 hostname,之间ssh无密码可登陆,Java环境的搭建,bashrc 的一些变量设置等,详细如下

2.1 设置机器hostname别名

设置别名的目的是机器间相互识别可以不用ip,配置文件中也可以不用ip,通用性上更强一些。

在 master 机器上面执行下面的命令:

1
2
3
4
5
# 当前ssh窗口即可生效
hostname master
# 每次重启以后均生效
vi /etc/sysconfig/network
HOSTNAME=master

同样,在 slave1 、slave2 机器上面执行相同的命令,只需要更改最后一句为相应的角色名称

1
HOSTNAME=slave1
1
HOSTNAME=slave2

添加Hosts映射关系,三台机器上面分别都执行操作 vi /etc/hosts 添加如下内容 ,之后在每台机器上面ping一下,确保能够连接彼此。

1
2
3
192.168.9.92 master
192.168.9.93 slave1
192.168.9.94 slave2

2.2 配置 JDK 环境

下载 Java 对应的版本,地址如下jdk-7u75-linux-i586.tar_0.gz,配置环境变量即可完成java环境的配置,详情看脚本 :

1
2
3
4
5
6
7
8
9
10
# 解压到 /opt/下面
tar -zxf jdk-7u75-linux-i586.tar_0.gz -C /opt/ # 配置java环境,最好在全局 /etc/profile 配置中修改,这样所有用户均可以使用
vi /etc/profile JAVA_HOME=/opt/jdk1.7.0_75
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME

使修改的配置立即生效,终端中执行source /etc/profile
测试是否ok,执行命令which java,若出现/opt/jdk1.7.0_75/bin/java 表示已经ok 或者java -version ,出现java version "1.7.0_75" 也表明ok。

2.3 配置集群之间SSH无密码登陆

1、为了hadoop集群的安全与方便管理,我们要另外新建用户,并设置密码,命令如下:

1
2
# 创建账号hadoop并赋予密码nopass.2
sudo adduser hadoop && sudo passwd hadoop

2、给hadoop账户赋予root权限 vi /etc/sudoers 添加如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
hadoop  ALL=(ALL)       ALL
```
3、配置集群各个节点之间的ssh无密码互信,也就是从master开始,ssh到master(localhost)、slave1和slave2上都不需要密码,反向ssh到master同样,互信设置需要在`hadoop`用户下执行命令如下: ``` bash
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys # 这步很重要,必须要授予读写的权限 r=4,w=2,x=1
chmod 600 ~/.ssh/authorized_keys # 拷贝授权认证公钥
scp ~/.ssh/authorized_keys hadoop@master:/home/hadoop/.ssh/
scp ~/.ssh/authorized_keys hadoop@slave1:/home/hadoop/.ssh/
scp ~/.ssh/authorized_keys hadoop@slave2:/home/hadoop/.ssh/

这样就将生成的授权秘钥拷贝到了slave1和slave2的/home/hadoop/.ssh目录下,从 master 机器 ssh到 slave1 、slave2 都不再需要密码了,同理,在slave1、slave2机器上执行上面的命令即可完成slave 到master之间的无密码登录。(其实,操作完后,slave之间也是可以无密码登录的,只是不需要而已)

测试下 ,不使用密码登录即ok

1
2
3
ssh hadoop@master 
ssh hadoop@slave1
ssh hadoop@slave2

三、Hadoop 集群的安装

hadoop 下载地址 :https://hadoop.apache.org/releases.html
hadoop 的安装其实很简单,解压完毕后,修改配置文件、环境变量就完成了安装,需要在每个节点都安装,为了写了一键安装部署脚本,执行hadoop_install.sh后即可用启动命令进行测试,尽量做到简单方便的运维,提供的脚本如往常一样再本文最后给出,下面就一步步解释下:

1、 解压 hadoop-2.5.2.tar.gz 文件

1
tar -zxvf hadoop-2.5.2.tar.gz -C /home/hadoop/

2、修改环境变量vi /home/hadoop/.bashrc ,添加如下代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
export HADOOP_HOME=$HOME/hadoop-2.5.2
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_PID_DIR=/var/hadoop/pids # 解决启动时候的错误
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

3、 修改 hadoop 文件目录中的各项配置文件 ,配置文件详细说明见
3.1、修改core-site.xml 配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property> <property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<!--hadoop运行时的临时文件的目录-->
<value>/home/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property> </configuration>

3.2 、修改hdfs-site.xml ,代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property> <property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property> <property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data</value>
</property> <property>
<!-- 值不应大于datanode数量 -->
<name>dfs.replication</name>
<value>2</value>
</property> <property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property> </configuration>

备注:访问namenode的hdfs使用50070端口,访问datanode的webhdfs使用50075端口。要想不区分端口,直接使用namenode的IP和端口进行所有的webhdfs操作,就需要在所有的datanode上都设置hdfs-site.xml中的dfs.webhdfs.enabled为true。

3.3 、修改mapred-site.xml,代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property> <property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property> </configuration>

备注:jobhistory是Hadoop自带了一个历史服务器,记录Mapreduce历史作业。默认情况下,jobhistory没有启动,可用以下命令启动:$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

3.4、 修改yarn-site.xml,代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property> <property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property> <property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property> <property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property> <property> <name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property> <property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>

3.5、 修改两个启动命令文件 hadoop-env.sh 和 yarn-env.sh ,添加 JAVA_HOME 变量 :

1
export JAVA_HOME=/opt/jdk1.7.0_75

3.6 、 修改 slaves配置,代码如下,添加两台slaves机器:

1
2
slave1
slave2

以上就是整个安装过程,下面测试下是否安装ok

四、Hadoop 集群的测试

4.1 启动 hadoop,验证页面是否ok

1 、格式化磁盘,格式化hadoop使用的文件磁盘,并不是物理上的磁盘,需要在每个节点上都执行下面的命令

1
source $HADOOP_HOME/bin/hdfs namenode –format

2、 启动hadoop ,注意:只需要在 master 节点上启动即可,会自动启动slave各个节点

1
2
3
4
5
6
7
8
# start-dfs.sh 此命令启动了namenode、secondaryNamenode以及datanode
# start-yarn.sh 此命令启动了ResourceManager和NodeManager,相当于hadoop1中的jobtracker和TaskTracker $HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh # 或者使用这一个命令代替
# $HADOOP_HOME/sbin/start-all.sh

3、 停止 hadoop , 注意:只需要在 master 节点上执行即可

1
2
3
4
5
6
7
8
9
10
$HADOOP_HOME/sbin/stop-all.sh
```
4、测试是否启动ok,使用java进程查看命令`jps`,终端中输入即可,看到如下内容即表示ok ``` bash
7692 ResourceManager
8428 JobHistoryServer
7348 NameNode
14874 Jps
7539 SecondaryNameNode

5、 HTTP效果,通过浏览器查看集群运行状态,访问 http://192.168.9.92:50070/、http://192.168.9.92:8088/、http://192.168.9.92:19888/ 即可看到下图的效果

布式实时日志系统(三) 环境搭建之centos 6.4下hadoop 2.5.2完全分布式集群搭建最全资料

布式实时日志系统(三) 环境搭建之centos 6.4下hadoop 2.5.2完全分布式集群搭建最全资料

布式实时日志系统(三) 环境搭建之centos 6.4下hadoop 2.5.2完全分布式集群搭建最全资料

6、单独重启丢失的DataNode节点
如果某个DataNode节点Dead(由于死机或人为原因等),可以在不重启整个Hadoop服务的情况下进行单独重启。
方法如下:
在NameNode的hadoop-2.5.2/sbin目录下,执行命令启动HDFS DataNode

./hadoop-daemons.sh start datanode
./yarn-daemons.sh start nodemanager

或者单独启动NameNode节点,命令如下:

1
2
./hadoop-daemon.sh start namenode  
./yarn-daemon.sh start resourcemanager

上述四个命令都可以指定—config参数,后面跟hadoop的集群配置文件所在目录(即$HADOOP_HOME/etc/hadoop),大家可通过参数-h查看命令帮助信息
注意:上面命令不会影响已经启动的hdfs或yarn服务,只会把丢失节点的服务启动起来。

4.2 运行Hadoop自带的wordcount示例

1、 创建input文件

1
2
3
cd /home/hadoop/
echo "My first hadoop example. Hello Hadoop in input. " > input
ls

2、创建用户目录,必须是 /user/用户名

1
$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hadoop

3、上传文件

1
$HADOOP_HOME/bin/hadoop fs -put input /user/hadoop

4、 执行 wordcount 程序

1
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /user/hadoop/input /user/hadoop/output

5、验证结果

1
$HADOOP_HOME/bin/hadoop fs -cat /user/hadoop/output/part-r-00000
1
2
3
4
5
6
7
Hadoop  1  
My 1
example.Hello 1
first 1
hadoop 1
in 1
input. 1

五、参考资料

http://blog.csdn.net/hwwn2009/article/details/39889465
http://www.cnblogs.com/bxljoy/p/3880250.html
http://ju.outofmemory.cn/entry/29825
http://blog.csdn.net/tang9140/article/details/42869531

上一篇:CTO 技能图谱


下一篇:模板文件引入css样式文件