* HBase框架基础(四)
上一节我们介绍了如何使用HBase搞一些MapReduce小程序,其主要作用呢是可以做一些数据清洗和分析或者导入数据的工作,这一节我们来介绍如何使用HBase与其他框架进行搭配使用。
* HBase与Hive
在开始HBase与Hive搭配使用前,我们复习一下这两个框架的特点:
Hive:
** 数据仓库
** 用于数据分析,数据清洗等等
** 基于MapReduce
** 延迟高,离线使用
HBase:
** 面向列存储的非关系型数据库
** 存储数据
** 基于HDFS中的文件
** 低延迟,接入在线业务使用
HBase与Hive的部署:
提前工作:
1、拷贝Hive所需的一些Jar包,使用ln做软连接也是可以的,比如:
$ export HBASE_HOME=/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/
$ export HIVE_HOME=/opt/modules/cdh/hive-0.13.1-cdh5.3.6/
$ ln -s $HBASE_HOME/lib/hbase-common-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-common-0.98.6-cdh5.3.6.jar
$ ln -s $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-server-0.98.6-cdh5.3.6.jar
$ ln -s $HBASE_HOME/lib/hbase-client-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-client-0.98.6-cdh5.3.6.jar
$ ln -s $HBASE_HOME/lib/hbase-protocol-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-protocol-0.98.6-cdh5.3.6.jar
$ ln -s $HBASE_HOME/lib/hbase-it-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-it-0.98.6-cdh5.3.6.jar
$ ln -s $HBASE_HOME/lib/htrace-core-2.04.jar $HIVE_HOME/lib/htrace-core-2.04.jar
$ ln -s $HBASE_HOME/libhbase-hadoop2-compat-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-hadoop2-compat-0.98.6-cdh5.3.6.jar
$ ln -s $HBASE_HOME/lib/hbase-hadoop-compat-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-hadoop-compat-0.98.6-cdh5.3.6.jar
$ ln -s $HBASE_HOME/lib/high-scale-lib-1.1.1.jar $HIVE_HOME/lib/high-scale-lib-1.1.1.jar
2、修改hive-site.xml文件,添加如下内容:
案例一:通过建立Hive可以关联的HBase表,使之在操作Hive同时也能操作HBase表,比如数据的导入。
Step1、在Hive中创建表同时关联HBase
hive (default)> CREATE TABLE hive_hbase_emp_table(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");
完成之后,可以分别进入Hive和HBase查看,都生成了对应的表
Hive中:
HBase中:
Step2、想要向hive_hbase_emp_table表载入数据,需要再创建一个管理表作为中转,因为你不能够直接将本地的数据load到刚才的那个表。
hive (default)> create table emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
row format delimited fields terminated by '\t';
Step3、向emp这个管理表中load数据
hive> load data local inpath '/home/z/Desktop/emp.txt' into table emp;
Step4、通过insert命令将emp中的数据导入到hive_hbase_emp_table和hbase_emp_table表中
hive> insert into table hive_hbase_emp_table select * from emp;
Step5、测试,查看Hive和HBase对应的表中是否已经成功的同步的插入了数据
Hive中的hive_hbase_emp_table表:
HBase中的hbase_emp_table表:
案例二:比如在HBase中已经存储了某一张表hbase_emp_table,然后在Hive中创建一个外部表来关联HBase中的hbase_emp_table这张表,使之可以借助Hive来分析HBase这张表中的数据。
Step1、在Hive中创建外部表
hive> CREATE EXTERNAL TABLE hive_hbase_emp_ex_table(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");
Step2、关联后就可以使用Hive函数进行一些分析操作了,在此我们玩个简单的?比如在Hive的这个外部关联表中查询所有数据吧!
hive> select * from hive_hbase_emp_ex_table;
如图所示,即成功:
* HBase与Sqoop
我们之前使用Sqoop做了在Hive和Mysql之间的数据传输操作,当然它也可以在HBase和Mysql之间操作,比如,每天都有10万人注册你的网站,你的Mysql数据库每天都有大量的数据注入,那么能不能每天都定时的将Mysql数据库中的数据抽取到HBase呢?当然可以,比如:
注意:如果对应的数据库和表没有,请查看前文内容,因为本系列教程的内容是连续的。内容如下:
Sqoop的sqoop-evn.sh配置如下:
执行Sqoop操作:
$ bin/sqoop import \
--connect jdbc:mysql://z01:3306/db_demo \
--username root \
--password 123456 \
--table user \
--columns "id,name,sex" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_user_sqoop_table" \
--num-mappers 1 \
--split-by id
执行如图:
任务完成后查看HBase对应表中的数据如图:
什么?没有定时?定时任务你懂得,当然要用Oozie(一般不用Crontab),不明白的请参考Oozie的对应章节。
* HBase与Hue
HBase与Hue整合当然是为了更好的体验,可以使用带有用户界面的操作去管理HBase~
部署姿势:
Step1、修改hue.ini配置,如下图:
Step2、启用HBase的thrift(想要了解thrift是什么请自行百度简单了解下即可)
$ bin/hbase-daemon.sh start thrift
Step3、启动Hue进程访问测试
$ build/env/bin/supervisor
通过z01:8888登录Hue之后,点击Data Browser中的HBase,如下图:
随便点击一个表进去看看?比如点击刚才创建的红框内的表,如图:
* 总结
本节主要结合之前的框架知识,对HBase的结合使用进行了一个简单的拓展,希望大家能够理解其中的原理,灵活使用之。
个人微博:http://weibo.com/seal13
QQ大数据技术交流群(广告勿入):476966007
作者:Z尽际
链接:https://www.jianshu.com/p/7eedea1e620b
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。