简介
HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问,是Google的BigTable的开源实现。HBase的目标是存储并处理大型的数据,更具体地说仅用普通的硬件配置,能够处理成千上万的行和列所组成的大型数据库。
HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据的可靠性和系统的健壮性,并且发挥HBase处理大型数据的能力,还是使用HDFS作为文件存储系统更佳。另外,HBase存储的是松散型数据,具体来说,HBase存储的数据介于映射(key/value)和关系型数据之间。如下图所示,HBase存储的数据从逻辑上看就是一张很大的表,并且它的数据列可以根据需要动态增加。每一个cell中的数据又可以有多个版本(通过时间戳来区别),从下图来看,HBase还具有“向下提供存储,向上提供运算”的特点。
简介来源:残雪余香
hadoop 安装
http://blog.csdn.net/fenglailea/article/details/53318459
环境
CENTOS 7 服务器
当前用户 hadoop
hbase版本 1.2.4
HBase下载
http://www.apache.org/dyn/closer.cgi/hbase/
http://archive.apache.org/dist/hbase/stable/
http://apache.fayea.com/hbase/
wget http://mirrors.cnnic.cn/apache/hbase/1.2.4/hbase-1.2.4-bin.tar.gz
tar zxvf hbase-1.2.4-bin.tar.gz
HBase安装
mv hbase-1.2.4 ~/hbase
chown -R hadoop:hadoop hbase
HBase配置
配置hbase-env.sh
vim /home/hadoop/hbase/conf/hbase-env.sh
修改
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64/jre #Java安装路径
export HBASE_CLASSPATH=/home/hadoop/hadoop/etc/hadoop #通过hadoop的配置文件找到hadoop集群
export HBASE_MANAGES_ZK=true #使用HBASE自带的zookeeper管理集群
配置 hbase-site.xml
vim /home/hadoop/hbase/conf/hbase-site.xml
修改为
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hbase.master</name>
<value>localhost:6000</value>
</property>
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zookeeper</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
hbase.master是指定运行HMaster的服务器及端口号;
hbase.master.maxclockskew是用来防止HBase节点之间时间不一致造成regionserver启动失败,默认值是30000;
hbase.rootdir指定HBase的存储目录;
hbase.cluster.distributed设置集群处于分布式模式;
hbase.zookeeper.quorum设置Zookeeper节点的主机名,它的值个数必须是奇数;
hbase.zookeeper.property.dataDir 指zookeeper集群data目录
dfs.replication设置数据备份数,集群节点小于3时需要修改,本次试验是一个节点,所以修改为1。
配置regionservers
vim /home/hadoop/hbase/conf/regionservers
修改为
localhost
设置所运行HBase的机器,此文件配置和hadoop中的slaves类似,一行指定一台机器,本次试验仅用一台机器,设置master即可。
配置环境变量
vim ~/.bashrc
最后加入
export HBASE_HOME=/home/hadoop/hbase
export PATH=$PATH:$HBASE_HOME/bin
应用环境变量
. ~/.bashrc
启动
/home/hadoop/hbase/bin/start-hbase.sh
关闭
/home/hadoop/hbase/bin/stop-hbase.sh