HBase之八--(2):HBase二级索引之Phoenix

1. 介绍

Phoenix 是 Salesforce.com 开源的一个 Java 中间件,可以让开发者在Apache HBase 上执行 SQL 查询。Phoenix完全使用Java编写,代码位于 GitHub 上,并且提供了一个客户端可嵌入的 JDBC 驱动。

根据项目所述,Phoenix 被 Salesforce.com 内部使用,对于简单的低延迟查询,其量级为毫秒;对于百万级别的行数来说,其量级为秒。Phoenix 并不是像 HBase 那样用于 map-reduce job 的,而是通过标准化的语言来访问 HBase 数据的。

Phoenix 为 HBase 提供 SQL 的查询接口,它在客户端解析SQL语句,然后转换为 HBase native 的客户端语言,并行执行查询然后生成标准的JDBC结果集。

Phoenix 最值得关注的一些特性 有:

  • 嵌入式的JDBC驱动,实现了大部分的java.sql接口,包括元数据API
  • 可以通过多部行键或是键/值单元对列进行建模
  • 完善的查询支持,可以使用多个谓词以及优化的扫描键
  • DDL支持:通过CREATE TABLE、DROP TABLE及ALTER TABLE来添加/删除列
  • 版本化的模式仓库:当写入数据时,快照查询会使用恰当的模式
  • DML支持:用于逐行插入的UPSERT VALUES、用于相同或不同表之间大量数据传输的UPSERT SELECT、用于删除行的DELETE
  • 通过客户端的批处理实现的有限的事务支持
  • 表连接 和二级索引
  • 紧跟ANSI SQL标准

SQL Support 可以参考 language reference,Phoenix 当前不支持:

  • 完全的事物支持
  • 嵌套查询
  • 关联操作: Union、Intersect、Minus
  • 各种各样的内建函数。可以参考这篇文章添加自定义函数。

2. 安装

HBase 兼容性:

  • Phoenix 2.x - HBase 0.94.x
  • Phoenix 3.x - HBase 0.94.x
  • Phoenix 4.x - HBase 0.98.1+

安装已经编译好的 phoenix :

  • 下载对应你 hbase 版本的 phoenix-[version]-incubating.tar 并解压,下载地址:http://www.apache.org/dyn/closer.cgi/incubator/phoenix/
  • 添加 phoenix-core-[version]-incubating.jar 到 HBase region server 的 classpath 中,或者直接将其加载到 hbase 的 lib 目录
  • 重启 HBase region server
  • 添加 phoenix-[version]-incubating-client.jar 到 hadoop 客户端的 lib 目录。

3. 使用

3.1 JDBC

Java 客户端连接 jdbc 代码如下:

Connection conn = DriverManager.getConnection("jdbc:phoenix:server1,server2:2181");

jdbc 的 url 类似为 jdbc:phoenix [ :<zookeeper quorum> [ :<port number> ] [ :<root node> ] ],需要引用三个参数:hbase.zookeeper.quorumhbase.zookeeper.property.clientPortand zookeeper.znode.parent,这些参数可以缺省不填而在 hbase-site.xml 中定义。

3.2 sqlline 命令行

进入解压后的 bin 目录,执行下面命令可以进入一个命令行模式:

$ sqlline.py localhost

进入之后,可以查看表和列:

sqlline version 1.1.2
0: jdbc:phoenix:localhost> !tables
+------------+-------------+------------+------------+------------+------------+---------------------------+----------------+--------+
| TABLE_CAT | TABLE_SCHEM | TABLE_NAME | TABLE_TYPE | REMARKS | TYPE_NAME | SELF_REFERENCING_COL_NAME | REF_GENERATION | INDEX_ |
+------------+-------------+------------+------------+------------+------------+---------------------------+----------------+--------+
| null | SYSTEM | CATALOG | SYSTEM TABLE | null | null | null | null | null |
| null | SYSTEM | SEQUENCE | SYSTEM TABLE | null | null | null | null | null |
+------------+-------------+------------+------------+------------+------------+---------------------------+----------------+--------+
0: jdbc:phoenix:localhost> !columns sequence
+------------+-------------+------------+-------------+------------+------------+-------------+---------------+----------------+-----+
| TABLE_CAT | TABLE_SCHEM | TABLE_NAME | COLUMN_NAME | DATA_TYPE | TYPE_NAME | COLUMN_SIZE | BUFFER_LENGTH | DECIMAL_DIGITS | NUM |
+------------+-------------+------------+-------------+------------+------------+-------------+---------------+----------------+-----+
| null | SYSTEM | SEQUENCE | TENANT_ID | 12 | VARCHAR | null | null | null | nul |
+------------+-------------+------------+-------------+------------+------------+-------------+---------------+----------------+-----+
0: jdbc:phoenix:localhost>

从上面可以看出来,phoenix 中存在两个系统表:

  • SYSTEM.CATALOG
  • SYSTEM.SEQUENCE

通过 HBase Master 的 web 页面,可以看到上面两个表的建表语句,例如:

'SYSTEM.CATALOG', {METHOD => 'table_att', coprocessor$1 => '|org.apache.phoenix.coprocessor.ScanRegionObserver|1|', coprocessor$2 => '|org.apache.phoenix.coprocessor.UngroupedAggregateRegionObserver|1|', coprocessor$3 => '|org.apache.phoenix.coprocessor.GroupedAggregateRegionObserver|1|', coprocessor$4 => '|org.apache.phoenix.coprocessor.ServerCachingEndpointImpl|1|', coprocessor$5 => '|org.apache.phoenix.coprocessor.MetaDataEndpointImpl|1|', coprocessor$6 => '|org.apache.phoenix.coprocessor.MetaDataRegionObserver|2|', CONFIG => {'SPLIT_POLICY' => 'org.apache.phoenix.schema.MetaDataSplitPolicy', 'UpgradeTo30' => 'true'}}, {NAME => '0', DATA_BLOCK_ENCODING => 'FAST_DIFF', VERSIONS => '1000', KEEP_DELETED_CELLS => 'true'}

可以用下面脚本执行一个 sql 语句:

$ ./sqlline.py localhost ../examples/STOCK_SYMBOL.sql

执行结果如下:

1/4          /*
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the NOTICE file
* distributed with this work for additional information
* regarding copyright ownership. The ASF licenses this file
* to you under the Apache License, Version 2.0 (the
* "License"); you may not use this file except in compliance
* with the License. You may obtain a copy of the License at
*
* http://www.apache.org/licenses/LICENSE-2.0
*
* Unless required by applicable law or agreed to in writing, software
* distributed under the License is distributed on an "AS IS" BASIS,
* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
* See the License for the specific language governing permissions and
* limitations under the License.
*/ -- creates stock table with single row
CREATE TABLE IF NOT EXISTS STOCK_SYMBOL (SYMBOL VARCHAR NOT NULL PRIMARY KEY, COMPANY VARCHAR);
No rows affected (1.714 seconds)
2/4 UPSERT INTO STOCK_SYMBOL VALUES ('CRM','SalesForce.com');
1 row affected (0.035 seconds)
3/4 SELECT * FROM STOCK_SYMBOL;
+------------+------------+
| SYMBOL | COMPANY |
+------------+------------+
| CRM | SalesForce.com |
+------------+------------+
1 row selected (0.117 seconds)
4/4
Closing: org.apache.phoenix.jdbc.PhoenixConnection
sqlline version 1.1.2

../examples/STOCK_SYMBOL.sql 文件主要包括三个 sql 语句:

CREATE TABLE IF NOT EXISTS STOCK_SYMBOL (SYMBOL VARCHAR NOT NULL PRIMARY KEY, COMPANY VARCHAR);
UPSERT INTO STOCK_SYMBOL VALUES ('CRM','SalesForce.com');
SELECT * FROM STOCK_SYMBOL;
  • 第一个语句创建表
  • 第二个语句插入一条记录
  • 第三个语句查询数据

在 hbase shell 中查看存在的表:

hbase(main):001:0> list
TABLE
STOCK_SYMBOL
SYSTEM.CATALOG
SYSTEM.SEQUENCE

查看 STOCK_SYMBOL 表中数据:

hbase(main):004:0> scan 'STOCK_SYMBOL'
ROW COLUMN+CELL
CRM column=0:COMPANY, timestamp=1406535419510, value=SalesForce.com
CRM column=0:_0, timestamp=1406535419510, value=
1 row(s) in 0.0210 seconds

可以看到插入了一行记录,rowkey 为 CRM,而列族名称为 0 ,存在两列,一列为指定的COMPANY,另一列为 phoenix 插入的 _0

然后,也可以通过 sqlline.py 来查看数据:

0: jdbc:phoenix:localhost> select * from STOCK_SYMBOL;
+------------+------------+
| SYMBOL | COMPANY |
+------------+------------+
| CRM | SalesForce.com |
+------------+------------+
1 row selected (0.144 seconds)

注意到:从上面查询看到的就只有两列,没有看到 _0 这一列。

从上可以知道,Phoenix 是构建在 HBase 之上的 SQL 中间层,向 HBase 发送标准 sql 语句,对 HBase 进行操作。

3.3 加载数据

你可以使用 bin/psql.py 来加载 CSV 数据 或者执行 SQL 脚本,例如:

$ ./psql.py localhost ../examples/WEB_STAT.sql ../examples/WEB_STAT.csv ../examples/WEB_STAT_QUERIES.sql

其输出结果为:

no rows upserted
Time: 1.528 sec(s) csv columns from database.
CSV Upsert complete. 39 rows upserted
Time: 0.122 sec(s) DOMAIN AVERAGE_CPU_USAGE AVERAGE_DB_USAGE
---------- ----------------- ----------------
Salesforce.com 260.727 257.636
Google.com 212.875 213.75
Apple.com 114.111 119.556
Time: 0.062 sec(s) DAY TOTAL_CPU_USAGE MIN_CPU_USAGE MAX_CPU_USAGE
------------------- --------------- ------------- -------------
2013-01-01 00:00:00 35 35 35
2013-01-02 00:00:00 150 25 125
2013-01-03 00:00:00 88 88 88
2013-01-04 00:00:00 26 3 23
2013-01-05 00:00:00 550 75 475
2013-01-06 00:00:00 12 12 12
2013-01-08 00:00:00 345 345 345
2013-01-09 00:00:00 390 35 355
2013-01-10 00:00:00 345 345 345
2013-01-11 00:00:00 335 335 335
2013-01-12 00:00:00 5 5 5
2013-01-13 00:00:00 355 355 355
2013-01-14 00:00:00 5 5 5
2013-01-15 00:00:00 720 65 655
2013-01-16 00:00:00 785 785 785
2013-01-17 00:00:00 1590 355 1235
Time: 0.045 sec(s) HOST TOTAL_ACTIVE_VISITORS
---- ---------------------
EU 150
NA 1
Time: 0.058 sec(s)

WEB_STAT.sql 中 sql 语句为:

CREATE TABLE IF NOT EXISTS WEB_STAT (
HOST CHAR(2) NOT NULL,
DOMAIN VARCHAR NOT NULL,
FEATURE VARCHAR NOT NULL,
DATE DATE NOT NULL,
USAGE.CORE BIGINT, -- 指定了列族: USAGE
USAGE.DB BIGINT, -- 指定了列族: USAGE
STATS.ACTIVE_VISITOR INTEGER , --指定了列族: STATS
CONSTRAINT PK PRIMARY KEY (HOST, DOMAIN, FEATURE, DATE)
);

从 sql 语句上可以看出来,HOST、DOMAIN、FEATURE、DATE 这四列前面并没有指定列族,并且通过约束设置这四列组成 hbase 的 rowkey,其他三列都指定了列族。

通过 sqlline.py 查询第一条记录:

0: jdbc:phoenix:localhost> select * from WEB_STAT limit 1;
+------+------------+------------+---------------------+------------+------------+----------------+
| HOST | DOMAIN | FEATURE | DATE | CORE | DB | ACTIVE_VISITOR |
+------+------------+------------+---------------------+------------+------------+----------------+
| EU | Apple.com | Mac | 2013-01-01 | 35 | 22 | 34 |
+------+------------+------------+---------------------+------------+------------+----------------+

而通过 hbase shell 查询 WEB_STAT 表第一条记录:

 EUApple.com\x00Mac\x00\x80\x00\x0 column=STATS:ACTIVE_VISITOR, timestamp=1406535785946, value=\x80\x00\x00"
1;\xF3\xA04\xC8
EUApple.com\x00Mac\x00\x80\x00\x0 column=USAGE:CORE, timestamp=1406535785946, value=\x80\x00\x00\x00\x00\x00\x00#
1;\xF3\xA04\xC8
EUApple.com\x00Mac\x00\x80\x00\x0 column=USAGE:DB, timestamp=1406535785946, value=\x80\x00\x00\x00\x00\x00\x00\x16
1;\xF3\xA04\xC8
EUApple.com\x00Mac\x00\x80\x00\x0 column=USAGE:_0, timestamp=1406535785946, value=
1;\xF3\xA04\xC8

通过上面对比知道:

  • phoenix 对用户屏蔽了 rowkey 的设计细节
  • USAGE 列族中存在一列为 _0,而 STATS 列族中却没有,这是为什么?
  • Phoenix 把 rowkey 内化为 table 的 PRIMARY KEY 处理,由 HOST、DOMAIN、FEATURE、DATE 这四列拼接在一起,组成了 rowkey

其他可选的加载数据的方法:

3.4 映射到存在的 HBase 表

创建一张hbase表:

create 't1', 'f'

put 't1', "row1", 'f:q', 1
put 't1', "row2", 'f:q', 2
put 't1', "row3", 'f:q', 3
put 't1', "row4", 'f:q', 4
put 't1', "row5", 'f:q', 5

在phoenix建一张同样的表:

./sqlline.py localhost 

CREATE TABLE IF NOT EXISTS "t1" (
row VARCHAR NOT NULL,
"f"."q" VARCHAR
CONSTRAINT PK PRIMARY KEY (row)
);

t1、f、q 需要用双引号括起来,原因主要是大小写的问题,参考 phoenix 的 wiki

注意:

在这里, phoenix 会修改 table 的 Descriptor,然后添加 coprocessor,所以会先 disable,在 modify,最后 enable 表。

接下来就可以查询了:

0: jdbc:phoenix:localhost> select * from "t1";
+------------+------------+
| ROW | q |
+------------+------------+
| row1 | 1 |
| row2 | 2 |
| row3 | 3 |
| row4 | 4 |
| row5 | 5 |
+------------+------------+
5 rows selected (0.101 seconds)
0: jdbc:phoenix:localhost> select count(1) from "t1";
+------------+
| COUNT(1) |
+------------+
| 5 |
+------------+
1 row selected (0.068 seconds)

4. 总结

这篇文章主要是介绍了什么是 Phoenix 、如何安装以及他的一些特性,然后介绍了他的使用方法,主要包括命令行使用、加载数据以及如何映射存在的 HBase 表,通过该篇文章对 Phoenix 有了一个初步的认识。

上一篇:c# 通过Windows服务启动外部程序


下一篇:Android 开发中 SQLite 数据库的使用