golang 调用HBase的方法总结

golang 调用HBase的方法总结

1. 背景

由于项目中要存储海量的数据,传统的mysql等已经不能再满足需求,于是对项目进行改造。Hbase和RDBMS的比较可参考link,网上这类文章很多,读者可自行了解。

2. golang调用HBase

2.1. 为什么用hbase

因为原本的代码逻辑主要调用MySQL,而随着数据量的增大,查询非常耗时,如果再做分库分表会带来两个问题:

  1. 原本业务逻辑大幅度修改
  2. 随着时间变长,业务量扩大,数据库容量还是不够用,可扩展性待检讨;

2.2. Hbase安装

Linux或者Mac系统

很简单,自行百度即可

Windows安装(第一种方式)

需替换window环境的编译包
可参考
注意hadoop和hbase的版本关系
点击查看

Windows安装(第二种方式 docker)

  1. 拉镜像
    docker pull harisekhon/hbase:2.1
  2. 启动
    docker run -d -h myhbase -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16010 -p 16201:16201 -p 16301:16301 --name hbase2.1 harisekhon/hbase:2.1

利用docker搭建集群

需要注意zookeeper版本不能太低。(官方建议3.4以上,推荐3.4.10)具体方法
golang 调用HBase的方法总结

2.3. import包直接调用HBase

该方法比较简单,在不考虑性能或者没有高并发的demo代码中推荐使用。可参考github,大佬写的包,具体使用github上写的很清楚,也可参考笔者的simple demo,在hbase2.2下没有问题。

2.4. 通过thrift接口调用HBase

thrift是什么?

=> 百度百科打钱

hbase的thrift接口**

=> 简述

使用说明详解

  1. 下载thrft windons版download
  2. 将其重命名成thrift并添加到环境变量(方便后面编译),执行
    thrift --version
    能运行出version说明此步OK
    golang 调用HBase的方法总结
  3. 打开下载好的hbase,,找到hbase-2.2.2-bin\hbase-2.2.2\lib\hbase-thrift-2.2.2.jar,解压。
  4. 解压后为一个hbase-thrift-2.2.2的文件夹,进入如下目录 hbase-thrift-2.2.2\org\apache\hadoop\hbase\thrift2,(注:此步用thrift1 和thrift2 影响不大,详情百度thrift1和thrift2的区别)。打开命令行,执行
    thrift -r -out . --gen go *.thrift
    得到一个hbase的文件夹。
  5. 将得到的文件夹放入到项目中直接引用即可。例子可见笔者simple demo

遇到的问题和微不足道的经验

  1. 经笔者测试,thrift接口比导包的快100倍不止。
  2. 老版本的thrift和hbase(2017年以前的),不支持ctx,所以复杂的分布式如果需要链路传值的话需要自行查阅资料,本人测试发现ctx好像不会传递,有会的小伙伴可以留言。
上一篇:FindWindowEx使用方法


下一篇:Thrift-服务端异步请求