HBase学习笔记之HBase的安装和配置

HBase学习笔记之HBase的安装和配置


我是为了调研和验证hbase的bulkload功能,才安装hbase,学习hbase的。为了快速的验证bulkload功能,我安装了一个节点的hadoop集群和一个节点的hbase。安装过程如下。

1、简介

2、安装环境准备

3、具体安装过程

1、简介

=========

hbase是hadoop生态系统中的一个软件,是基于hadoop的数据库软件。

2、安装环境准备

===============

hbase安装之前必须安装hadoop,所以在安装hbase之前必须先安装hadoop。

vm:vmware player 6.0.7

os:centos6.10

jdk:1.8.0_45

hadoop:apache hadoop-2.7.5.tar.gz

hbase: apache hbase-1.0.1.1-bin.tar.gz

2.0 安装环境准备

----------------------------

这里写一下centos安装之后的环境设置,主要包括:(1)修改主机名为master和hosts文件中的host-ip映射关系(ip master),(2)ssh免密登录,(3)jdk安装

这几步都很简单,就略了。

2.1 hadoop单节点安装过程

-------------------------------------

hadoop的安装过程略微复杂,这里简略的概述一下,详细过程,请参考参考资料1.

下载到的hadoop二进制包是hadoop-2.7.5.tar.gz。

(1)解压到/usr/local/bigdata下,bigdata是一个特意创建的目录,用来存放大数据相关软件的安装目录

tar -xzf hadoop-2.7.5.tar.gz -C /usr/local/bigdata/

然后配置一下环境变量/etc/profile:

#hadoop
export HADOOP_HOME=/usr/local/bigdata/hadoop/hadoop-2.7.5
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

之后source /etc/profile,让环境变量起效。

(2)修改hadoop的配置文件,配置文件位于hadoop安装目录下的etc/hadoop中,主要涉及的配置文件如

文件名称 格式       功能描述                
hadoopenv.sh     shell脚本   这个脚本是hadoop启动的时候执行的,用来为hadoop的执行准备执行环境,其中主要是一些环境变量的设置
core-site.xml   xml文档   是hadoop core的配置项,其中可以设置hdfs的uri地址,hadoop的tmp目录等
hdfs-site.xml   xml文档 是hdfs的主要配置文件,其中可以配置hdfs的name node存放元数据的目录,hdfs的data node存放数据的目录,hdfs存放的数据副本个数
yarn-site.xml xml文档 yarn的主要配置文件,yarn的  ResourceManager和NodeManager的配置项                                                              
mapred-site.xml xml文档   mapreduce的主要配置文件,其中可以配置mapreduce需要用的资源调度框架
slaves           plain text 其中记录了作为slave的机器的主机名或者ip地址 

(3)格式化

hdfs namenode -format

(4)启动hadoop

start-dfs.sh && start-yarn.sh

(5)验证启动是否成功

hdfs dfs -ls /

3、hbase安装

============

(1)下载、解压

-------------------------

tar -xzf hbase-1.0.1.1-bin.tar.gz  -C  /usr/local/bigdata/hbase/

然后配置一下环境变量/etc/profile:

#hbase
export HBASE_HOME=/usr/local/bigdata/hbase/hbase-1.0.1.1
export PATH=$PATH:$HBASE_HOME/bin

之后source /etc/profile,让环境变量起效。

(2)配置

---------------------

hbase-env.sh文件是为hbase准备运行环境的shell脚本,在其中修改两个配置项:

export JAVA_HOME=/usr/local/jdk1.8.0_45 #这个配置项设置jdk的安装位置

export HBASE_MANAGES_ZK=true   #这个配置项表示用hbase自己管理zookeeper,就是使用hbase自带的zookeeper运行hbase,因为hbase运行的时候需要zookeeper,一般hbase自己带了一个zookeeper,当然也可以独立安装一个zookeeper,这时候要把这个配置项的值设置为false

regionservers文件内容修改为安装的主机的名字:master

hbase-site.xml是hbase的主配置文件,将其内容修改为:

<configuration>
        <property>
                        <name>hbase.rootdir</name>
                        <value>hdfs://master:9000/hbase</value>               <description>hbase在hdfs上存储数据的目录</description>
        </property>
        <property>
                        <name>hbase.cluster.distributed</name>
                        <value>true</value>                  <description>表示hbase是分布式的,而不是standalone模式</description>        </property>        <!--下面是hbase的reginonserver进程的两个端口,特意设置这两个端口是有复杂的原因的,具体可以看参考资料2-->
        <property>
                        <name>hbase.regionserver.port</name>
                        <value>16040</value>
        </property>
        <property>
                        <name>hbase.regionserver.info.port</name>
                        <value>16041</value>
        </property>
</configuration>

(3)hbase启动和验证

---------------------------------

执行start-hbase.sh启动hbase

jps查看启动进程,看到红色的三个进程表示启动成功了:

[root@master conf]# jps
5537 HMaster
5474 HQuorumPeer
4677 SecondaryNameNode
4933 NodeManager
5670 HRegionServer
4489 DataNode
4379 NameNode
9275 Jps
4830 ResourceManager
[root@master conf]#

执行hbase shell,进入hbase的shell环境:

[root@master conf]# hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/bigdata/hbase/hbase-1.0.1.1/lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/bigdata/hadoop/hadoop-2.7.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.0.1.1, re1dbf4df30d214fca14908df71d038081577ea46, Sun May 17 12:34:26 PDT 2015

hbase(main):001:0>

这样就安装完成了。

参考资料:

0、https://www.cnblogs.com/oraclestudy/articles/5665780.html,这是hbase的介绍,直接看看的不明白,看个大概,等安装完成,试用了hbase之后,再回过头来看,就能看明白了,然后再根据这篇文章的理解,做些实验。

1、《hadoop海量数据处理 技术详解与项目实战 第2版》第二章,hadoop的安装,hbase的安装都详细参考这个资料。

2、https://blog.csdn.net/h12kjgj/article/details/78669244,这篇文章说了hbase的端口冲突问题,也说了为什么端口冲突,很好的解决了hmaster和hregionserver的端口冲突问题

3、http://www.cnblogs.com/nexiyi/p/hbase_intro_94.html,这篇也是详细说明hbase的,配合0,可以详细学习hbase

上一篇:Redux教程1:环境搭建,初写Redux


下一篇:redis发布/订阅模式