HBase框架基础(四)

* HBase框架基础(四)

上一节我们介绍了如何使用HBase搞一些MapReduce小程序,其主要作用呢是可以做一些数据清洗和分析或者导入数据的工作,这一节我们来介绍如何使用HBase与其他框架进行搭配使用。

* HBase与Hive

在开始HBase与Hive搭配使用前,我们复习一下这两个框架的特点:

Hive:

** 数据仓库

** 用于数据分析,数据清洗等等

** 基于MapReduce

** 延迟高,离线使用

HBase:

** 面向列存储的非关系型数据库

** 存储数据

** 基于HDFS中的文件

** 低延迟,接入在线业务使用

HBase与Hive的部署:

提前工作:

1、拷贝Hive所需的一些Jar包,使用ln做软连接也是可以的,比如:

$ export HBASE_HOME=/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/

$ export HIVE_HOME=/opt/modules/cdh/hive-0.13.1-cdh5.3.6/

$ ln -s $HBASE_HOME/lib/hbase-common-0.98.6-cdh5.3.6.jar  $HIVE_HOME/lib/hbase-common-0.98.6-cdh5.3.6.jar

$ ln -s $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-server-0.98.6-cdh5.3.6.jar

$ ln -s $HBASE_HOME/lib/hbase-client-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-client-0.98.6-cdh5.3.6.jar

$ ln -s $HBASE_HOME/lib/hbase-protocol-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-protocol-0.98.6-cdh5.3.6.jar

$ ln -s $HBASE_HOME/lib/hbase-it-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-it-0.98.6-cdh5.3.6.jar

$ ln -s $HBASE_HOME/lib/htrace-core-2.04.jar $HIVE_HOME/lib/htrace-core-2.04.jar

$ ln -s $HBASE_HOME/libhbase-hadoop2-compat-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-hadoop2-compat-0.98.6-cdh5.3.6.jar

$ ln -s $HBASE_HOME/lib/hbase-hadoop-compat-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-hadoop-compat-0.98.6-cdh5.3.6.jar

$ ln -s $HBASE_HOME/lib/high-scale-lib-1.1.1.jar $HIVE_HOME/lib/high-scale-lib-1.1.1.jar

2、修改hive-site.xml文件,添加如下内容:

 
HBase框架基础(四)
 

案例一:通过建立Hive可以关联的HBase表,使之在操作Hive同时也能操作HBase表,比如数据的导入。

Step1、在Hive中创建表同时关联HBase

hive (default)> CREATE TABLE hive_hbase_emp_table(

empno int,

ename string,

job string,

mgr int,

hiredate string,

sal double,

comm double,

deptno int)

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")

TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

完成之后,可以分别进入Hive和HBase查看,都生成了对应的表

Hive中:

 
HBase框架基础(四)
 

HBase中:

 
HBase框架基础(四)
 

Step2、想要向hive_hbase_emp_table表载入数据,需要再创建一个管理表作为中转,因为你不能够直接将本地的数据load到刚才的那个表。

hive (default)> create table emp(

empno int,

ename string,

job string,

mgr int,

hiredate string,

sal double,

comm double,

deptno int)

row format delimited fields terminated by '\t';

Step3、向emp这个管理表中load数据

hive> load data local inpath '/home/z/Desktop/emp.txt' into table emp;

Step4、通过insert命令将emp中的数据导入到hive_hbase_emp_table和hbase_emp_table表中

hive> insert into table hive_hbase_emp_table select * from emp;

Step5、测试,查看Hive和HBase对应的表中是否已经成功的同步的插入了数据

Hive中的hive_hbase_emp_table表:

 
HBase框架基础(四)
对应HDFS的文件数据路径:/user/hive/warehouse/hive_hbase_emp_table

HBase中的hbase_emp_table表:

 
HBase框架基础(四)
对应HDFS的文件数据路径:/hbase/data/default/hbase_emp_table

案例二:比如在HBase中已经存储了某一张表hbase_emp_table,然后在Hive中创建一个外部表来关联HBase中的hbase_emp_table这张表,使之可以借助Hive来分析HBase这张表中的数据。

Step1、在Hive中创建外部表

hive> CREATE EXTERNAL TABLE hive_hbase_emp_ex_table(

empno int,

ename string,

job string,

mgr int,

hiredate string,

sal double,

comm double,

deptno int)

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")

TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

Step2、关联后就可以使用Hive函数进行一些分析操作了,在此我们玩个简单的?比如在Hive的这个外部关联表中查询所有数据吧!

hive> select * from hive_hbase_emp_ex_table;

如图所示,即成功:

 
HBase框架基础(四)
 

* HBase与Sqoop

我们之前使用Sqoop做了在Hive和Mysql之间的数据传输操作,当然它也可以在HBase和Mysql之间操作,比如,每天都有10万人注册你的网站,你的Mysql数据库每天都有大量的数据注入,那么能不能每天都定时的将Mysql数据库中的数据抽取到HBase呢?当然可以,比如:

注意:如果对应的数据库和表没有,请查看前文内容,因为本系列教程的内容是连续的。内容如下:

 
HBase框架基础(四)
 

Sqoop的sqoop-evn.sh配置如下:

 
HBase框架基础(四)
 

执行Sqoop操作:

$ bin/sqoop import \

--connect jdbc:mysql://z01:3306/db_demo \

--username root \

--password 123456 \

--table user \

--columns "id,name,sex" \

--column-family "info" \

--hbase-create-table \

--hbase-row-key "id" \

--hbase-table "hbase_user_sqoop_table" \

--num-mappers 1  \

--split-by id

执行如图:

 
HBase框架基础(四)
后面还有很长的内容,就不截图展示了

任务完成后查看HBase对应表中的数据如图:

 
HBase框架基础(四)
Bingo!

什么?没有定时?定时任务你懂得,当然要用Oozie(一般不用Crontab),不明白的请参考Oozie的对应章节

* HBase与Hue

HBase与Hue整合当然是为了更好的体验,可以使用带有用户界面的操作去管理HBase~

部署姿势:

Step1、修改hue.ini配置,如下图:

 
HBase框架基础(四)
 

 

Step2、启用HBase的thrift(想要了解thrift是什么请自行百度简单了解下即可)

$ bin/hbase-daemon.sh start thrift

Step3、启动Hue进程访问测试

$ build/env/bin/supervisor

通过z01:8888登录Hue之后,点击Data Browser中的HBase,如下图:

 
HBase框架基础(四)
 

随便点击一个表进去看看?比如点击刚才创建的红框内的表,如图:

 
HBase框架基础(四)
Bingo!

* 总结

本节主要结合之前的框架知识,对HBase的结合使用进行了一个简单的拓展,希望大家能够理解其中的原理,灵活使用之。


个人微博:http://weibo.com/seal13

QQ大数据技术交流群(广告勿入):476966007


作者:Z尽际
链接:https://www.jianshu.com/p/7eedea1e620b
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
上一篇:2018年6月,最新php工程师面试总结


下一篇:Spring Cloud Commons模块