fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3898991.html
Hbase 是Apache Hadoop的数据库,能够对大数据提供随机、实时的读写访问功能,具有开源、分布式、可扩展及面向列存储的特点。由于Hbase架构是基于其他文件存储系统的,因此在分布式模式下安装Hadoop是必须的。本文参考官方文档,安装部署一个完全分布式的Hbase集群。@_@
一、基本环境
操作系统:Ubuntu14.04 Server-x64
JDK版本:jdk1.8.0_11
Hadoop:hadoop-2.2.0
Zookeeper:zookeeper-3.4.6
Hbase :hbase-0.98.4-hadoop2 (stable)(版本与Hadoop、Zookeeper相对应)
计算机台数:3
主机名 | IP地址 | JDK_x64 | Hadoop-2.2.0集群 | Zookeeper-3.4.6集群 | Hbase-0.98.4集群 |
master | 192.168.145.1 | 1.8.0_11 | NameNode,DataNode | QuorumPeerMain | HMaser,HRegionServer |
slave1 | 192.168.145.2 | 1.8.0_11 | DataNode | QuorumPeerMain | HMaster(backup-masters),HRegionServer |
slave2 | 192.168.145.3 | 1.8.0_11 | DataNode | QuorumPeerMain | HRegionServer |
二、预安装配置
安装JDK
安装SSH及设置SSH免密码登录,设置master可以免密码登陆slave1和slave2
配置主机-IP地址映射 /etc/hosts 及 /etc/hostname
搭建ZooKeeper集群,请参见《分布式Apache ZooKeeper-3.4.6集群安装》
搭建Hadoop集群,可以参考《Ubuntu12.04-x64编译Hadoop2.2.0和安装Hadoop2.2.0集群》
三、Master节点配置信息
1、$HBASE_HOME/conf/hbase-env.sh
配置Hbase运行环境,包括Java安装路径及其他环境变量
JAVA_HOME :JAVA安装目录
HADOOP_CONF_DIR :HADOOP配置目录
HBASE_HEAPSIZE :设置堆内存为4G而不是默认的1G
HBASE_MANAGES_ZK :Tell HBase whether it should manage its own instance of Zookeeper or not.
To point HBase at an existing ZooKeeper cluster, one that is not managed by HBase, set HBASE_MANAGES_ZK in conf/hbase-env.sh to false
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_11
export HADOOP_CONF_DIR=/home/fesh/hadoop-2.2.0/etc/hadoop
export HBASE_HEAPSIZE=
export HBASE_MANAGES_ZK=false
2、$HBASE_HOME/conf/hbase-site.xml
hbase.rootdir :Hbase数据存储目录(HDFS中目录)
hbase.cluster.distributed :指定Hbase是否运行在分布式模式
hbase.zookeeper.property.dataDir :Zookeeper写数据目录(与ZooKeeper集群上配置相一致)
hbase.zookeeper.quorun :指定Hbase在每个节点上开启和管理一个Zookeeper instance,即指定ZooKeeper集群位置
hbase.master :指定Hbase的master的位置
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/fesh/data/zookeeper</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://master:60000</value>
</property>
</configuration>
3、$HBASE_HOME/conf/regionservers
regionservers文件列出了所有运行Hbase RegionServer CHRegion Server的机器。此文件的配置和Hadoop的slaves文件十分类似,每一行指定一台机器。当Hbase的时候,会将此文件中列出的所有机器启动;同样,当Hbase关闭的时候,也会同时自动读取文件并将所有机器关闭。
删除localhost,添加
master
slave1
slave2
4、$HBASE_HOME/conf/backup-masters
新建此文件,用于设置备份Master (a backup master),这里设置为slave1节点
slave1
四、分发文件
分发到slave1:
scp -r hbase-0.98.-hadoop2 slave1:~/
分发到slave2:
scp -r hbase-0.98.-hadoop2 slave2:~/
五、其他配置(每个节点上都需要配置)
1、设置ulimit 和 nproc
HBase是数据库,会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的,会导致FAQ: Why do I see "java.io.IOException...(Too many open files)" in my logs?异常。所以你需要修改你的最大文件句柄限制。可以设置到10k. 你还需要修改 hbase 用户的 nproc,如果过低会造成OutOfMemoryError异常。
/etc/security/limits.conf Ubuntu上的ulimit设置,操作系统用户fesh(用户名)打开文件(nofile)的soft and hard limits数目设置为32768, 用户fesh的processes数目设置为32000
fesh - nofile
fesh - nproc
另外,在 /etc/pam.d/common-session 加上这一行,否则在 /etc/security/limits.conf上的配置不会生效
session required pam_limits.so
还有注销再登录,这些配置才能生效!
2、配置dfs.datanode.max.xcievers
一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers
(Hadoop的作者把这个单词拼错了). 在你加载之前,先确认下你有没有配置这个文件conf/hdfs-site.xml
里面的xceivers
参数,至少要有4096:
配置文件$HADOOP_HOME/etc/hadoop/hdfs-site.xml,添加
<property>
<name>dfs.datanode.max.xcievers</name>
<value></value>
</property>
如果没有这一项配置,你可能会遇到奇怪的失败。你会在Datanode的日志中看到xcievers exceeded,但是运行起来会报 missing blocks错误。
对于HDFS修改配置要记得重启.
3、配置系统环境变量
/etc/profile ,添加
#Set HBASE_HOME ENVIRONMENT
export HBASE_HOME=/home/fesh/hbase-0.98.4-hadoop2
export PATH=$PATH:$HBASE_HOME
六、集群启动及查看
1、启动
Hbase的启动顺序为: HDFS -> ZooKeeper -> Hbase
master节点:
在$HADOOP_HOME目录下启动Hadoop集群
sbin/start-all.sh
每个节点:
在$ZOOKEEPER_HOME目录下启动ZooKeeper集群
bin/zkServer.sh start
master节点:
在$HBASE_HOME目录下启动Hbase集群
bin/start-hbase.sh
2、命令查看
master节点:
slave1节点:
slave2节点:
3、UI查看
60010端口查看Master
60030端口查看RegionServer
master节点
这里slave1和slave2没有可视化界面,所以不使用UI查看。
七、停止
停止顺序:Hbase 》 ZooKeeper 》 Hadoop
参考: