创建云数据库 Hbase结果表

创建云数据库 Hbase结果表


  1. create table liuxd_user_behavior_test_front (
  2. row_key varchar,
  3. from_topic varchar,
  4. origin_data varchar,
  5. record_create_time varchar,
  6. PRIMARY KEY (row_key)
  7. ) with (
  8. type = 'cloudhbase',
  9. zkQuorum = 'xxx'
  10. columnFamily = 'xxx',
  11. tableName = 'xxx',
  12. batchSize = '500'
  13. )

注意:

  • primary key支持定义多个字段。多个字段会按照rowkeyDelimiter(默认为(:))拼接起来作为rowkey。
  • hbase做撤回删除操作时,如果column定义了多版本,会把所有版本的值清空。

WITH参数

参数 注释说明 备注
zkQuorum hbase集群配置的zk地址 可以在hbase-site.xml文件中找到hbase.zookeeper.quorum相关配置。
zkNodeParent 集群配置在zk上的路径 可以在hbase-site.xml文件中找到hbase.zookeeper.quorum相关配置。
tableName hbase 表名
userName 用户名
password 密码
partitionBy 设置为true之后会在用joinKey做partition,将数据分发到join节点,提高缓存命中率。 可选,默认关闭
shuffleEmptyKey 设置为true之后遇到空key会随机往下游做shuffle,否则往0号下游发。 建议打开
columnFamily 列族名 目前只支持插入同一列族。
maxRetryTimes 插入尝试次数 可选,默认为10
bufferSize 流入多少条数据后进行去重 默认为5000
batchSize 批次写入大小 可选,默认为100
flushIntervalMs 最长插入时间 可选,默认为2000
writePkValue 是否写入主键值 可选,默认为false
stringWriteMod 是否都按照string插入 可选,默认为false
rowkeyDelimiter rowKey的分隔符 可选,默认为(:)
isDynamicTable 是否为动态表 可选,默认为false
本文转自实时计算——创建云数据库 Hbase结果表
上一篇:模拟提交有文件上传的表单(通过http模拟上传文件)


下一篇:Facebook利用毫米波技术实现20Gbps传输率