目录
(1)小杜出品(海大计科大数据专用版),请收到者个人使用!!!
(3)出现“~”的目录大多数要使用安装账户/普通账户目录,但修改“/etc/profile”和“~/.bashrc”目录要使用root账户!
(4)慎用root账户,要使用root账户的地方会提示。“source /etc/profile”要安装账户/普通账户目录和root账户都弄!
(5)相关的表名或数据库名等记得要改改,不要和小杜一样!!!
(6)使用者可能会出现少数BUG,请自行解决。本教程未收录BUG解决方法!
HBase的安装配置和使用
前言
(1)小杜出品(海大计科大数据专用版),请收到者个人使用!!!
(2)本教程在目录上要留意,要根据使用者的具体情况去修改!
(3)出现“~”的目录大多数要使用安装账户/普通账户目录,但修改“/etc/profile”和“~/.bashrc”目录要使用root账户!
(4)慎用root账户,要使用root账户的地方会提示。“source /etc/profile”要安装账户/普通账户目录和root账户都弄!
(5)相关的表名或数据库名等记得要改改,不要和小杜一样!!!
(6)使用者可能会出现少数BUG,请自行解决。本教程未收录BUG解决方法!
一、HBase环境的搭建
(1)安装ZooKeeper(普通账户+root账户)
1、解压并安装ZooKeeper的jar包【已将ZooKeeper的jar包上传到Master结点】。
cp ~//resources/software/zookeeper/zookeeper-3.4.6.tar.gz ~/
cd
tar -xzvf ~/zookeeper-3.4.6.tar.gz
2、创建data文件夹和log文件夹。(文件夹要自己创建,zookeeper不会创建)
mkdir ~/zookeeper-3.4.6/zkdata
mkdir ~/zookeeper-3.4.6/zkdata/log
3、复制生成配置文件zoo.cfg。
cd ~/zookeeper-3.4.6/conf
cp zoo_sample.cfg zoo.cfg
4、修改配置文件zoo.cfg的dataDir项、添加各节点主机名。
gedit zoo.cfg
修改以下内容:
dataDir=/home/2011921408dxb/zookeeper-3.4.6/zkdata
dataLogDir=/home/2011921408dxb/zookeeper-3.4.6/zkdata/log
添加以下内容
server.1= master:2888:3888
server.2= slave:2888:3888
5、将安装目录同步到其它节点。
scp -r /home/2011921408dxb/zookeeper-3.4.6 2011921408dxb@slave:/home/2011921408dxb/
6、在master节点创建myid文件。
echo "1">> /home/2011921408dxb/zookeeper-3.4.6/zkdata/myid
7、在slave节点创建myid文件。
echo "2">> /home/2011921408dxb/zookeeper-3.4.6/zkdata/myid
8、将各节点的ZooKeeper安装目录添加到系统环境变量配置文件中(root账户)
gedit /etc/profile
添加以下内容:
export ZOOKEEPER_HOME=/home/2011921408dxb/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin
9、激活系统环境变量设置文件,使其生效。
[特殊步骤 (root账户) 注:该步骤每台虚拟机用一次就好]
vim ~/.bashrc
在最后一行添加 source /etc/profile
重启结点
[主要步骤 (普通账户+root账户)]
source /etc/profile
10、所有节点都开启ZooKeeper服务并检查状态
zkServer.sh start
zkServer.sh status
(2)安装HBase(普通账户+root账户)
1、解压并安装HBase的jar包【已将HBase的jar包上传到Master结点】。
cp ~//resources/software/hbase/hbase-1.1.3-bin.tar.gz ~/
cd
tar -xzvf ~/hbase-1.1.3-bin.tar.gz
2、修改HBase的3个配置文件:hbase-env.sh、hbase-site.xml、regionservers;
(1)hbase-env.sh
gedit ~/hbase-1.1.3/conf/hbase-env.sh
查看相关信息:
gedit /home/2011921408dxb/.bash_profile
修改以下内容:(文件路径不要带空格)
export JAVA_HOME=/usr/java/jdk1.7.0_71/
export HBASE_CLASSPATH=/home/2011921408dxb/hbase-1.1.3/conf/ 【Hbase的配置目录】
export HBASE_MANAGES_ZK=false
(2)hbase-site.xml
gedit ~/hbase-1.1.3/conf/hbase-site.xml
在<configuration></configuration>之间添加以下内容:
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave</value>
</property>
(3)regionservers
gedit ~/hbase-1.1.3/conf/regionservers
用以下内容覆盖原内容:
slave
3、将安装目录同步到其它节点
scp -r /home/2011921408dxb/hbase-1.1.3 2011921408dxb@slave:/home/2011921408dxb/
4、将各节点的HBase安装目录添加到系统环境变量配置文件中(root账户)
gedit /etc/profile
添加以下内容:
export HBASE_HOME=/home/2011921408dxb/hbase-1.1.3
export PATH=$PATH:$HBASE_HOME/bin
5、激活系统环境变量设置文件,使其生效。
[特殊步骤]
vim ~/.bashrc
在最后一行添加 source /etc/profile
重启结点
[主要步骤]
source /etc/profile
二、HBase的基本操作
(1)HBase服务器基本操作
1、开启HBase服务;
在master结点:
cd ~/hadoop-2.5.2
sbin/start-all.sh
cd ~/Desktop
zkServer.sh start
start-hbase.sh
在slave结点:
cd ~/Desktop
zkServer.sh start
2、进入HBase shell
hbase shell
3、查询当前HBase服务的版本信息(hbase shell)
version
4、列出所有表
list
(2)表的创建与查看
1、使用HBase Shell完成下列个“个人信息表”的创建(表名自定义);
create 'table', {NAME => 'Persondata'}, {NAME =>'Info', VERSIONS => 3}
2、完成上述表格数据的输入
put 'table','1000','Persondata:name','Alice'
put 'table','1000','Persondata:gender','female'
put 'table','1000','Info:address','Los Angels'
put 'table','1000','Info:address','Boston'
put 'table','1000','Info:address','New York'
put 'table','1001','Persondata:name','John'
put 'table','1001','Info:phone','3749274'
put 'table','1001','Info:phone','3478193'
put 'table','1002','Persondata:name','Sam'
put 'table','1002','Persondata:gender','male'
put 'table','1002','Info:address','Houston'
3、查看上面所创建表格的表结构;
describe 'table'
4、查看表的所有数据(要求能查看最近两个版本的数据);
scan 'table', {COLUMNS => ['Persondata', 'Info'], VERSIONS=>2}
5、删除表(非必要,只是方便出错了,删除重新来!)
disable 'table'
drop 'table'
(3)表操作
1、向“个人信息表”中添加如下一行数据:
行键Row Key:1003; 列族Persondata→列name:James; 列族Company→列name:Tencent;
alter 'table',{NAME=>'Company'}
put 'table','1003','Persondata:name','James'
put 'table','1003','Company:name','Tencent'
scan 'table'
2、修改“个人信息表”的模式,删除列族“Company”;
alter 'table','delete'=>'Company'
scan 'table'
3、更新“个人信息表”中Row Key为“1003”列为“address”的数据为“Shenzhen”;
put 'table','1003','Info:address','Shenzhen'
scan 'table'
4、删除“个人信息表”的“phone”列;
delete 'table','1000','Info:phone'
delete 'table','1001','Info:phone'
delete 'table','1002','Info:phone'
delete 'table','1003','Info:phone'
scan 'table'
5、删除Row Key为“1001”的整行数据;
deleteall 'table','1001'
scan 'table'
6、查询“个人信息表”中现有的行数;
count 'table'
7、查看表的所有数据
scan 'table'
8、退出HBase shell
exit
9、停止HBase服务
在master结点:
stop-hbase.sh
cd ~/Desktop
zkServer.sh stop
cd ~/hadoop-2.5.2
sbin/stop-all.sh
在master结点:
cd ~/Desktop
zkServer.sh stop