HBase 笔记2

Hadoop 服务启动顺序: zookeeper -》journalnode-》namenode -> zkfc -> datanode

HBase Master WEB控制台: <Master>:60010

如果RegionServer正常启动,但是连接不上Master自己又停止,而Master/Region Server之间网络连接,端口可见性正常,多半是/etc/hosts内映射不正确或/etc/sysconfig/network内hostname设置有问题

HBase自带一个命令行工具 hbase shell

进入hbase 命令行: $HBASE_HOME/bin/hbase shell

创建表: create  'test','cf'   ====>创建表test,包含一个列族cf

查看库中有哪些表: list

查看表的属性:describe 'test'

建新列族: alter 'test','cf2'   ====>新增列族cf2

插入数据:put 'test','row1','cf:name','jack'  向表test的行键为row1的行的cf列族下的name列插入数据,值为Jack

修改HBase保留的版本数:alter 'test',{NAME=>'cf',VERSION=>5}    ===>设置表test的cf列族保留版本数为5,默认为1(即使单元格插入多个版本数据,也只会保留最新版本)

查看数据:get 'test','row2',{COLUMN=>'cf:name',VERSION=>3}     ====>获取表test,row2行,cf列族下name列的最近3个版本数据

       get 'test','row7','cf:name'   ===》显示某个单元格的全部数据

遍历表的全部数据: scan '表名'

遍历表的部分数据:scan 'test',{STARTROW=>'row3'}   ===>显示所有rowkey大于且等于row3的数据

          scan 'test',{ENDROW=>'row4'}        ====>显示所有rowkey小于row4的数据

删除数据: delete 'test','row4','cf:name'   ====>删除表test中的row4行中的cf:name单元格数据

根据版本删除数据:delete 'test','row1','cf:name',ts    ====>删除ts版本之前的所有版本数据(包含这个版本)

    HBase删除数据并不是真正删除数据,而是放置了一个墓碑标记,导致这个版本+之前的版本都不可见

删除整行数据: deleteall 'test','row3'    ===>删除test表的row3的整行数据

查看打上墓碑标记的数据:scan 'test',{RAW=>true,VERSION=>5}  ===>查询最近的5个版本的数据,墓碑隐藏数据也显示

停用表: disable 'test'

删除表:  删除表之前需要停用表

    drop 'test'

通用命令:

查看集群状态 status 'summary'  | 'simple' | 'detailed'

查看HBase版本: version

查看当前用户: whoami

查看表操作信息: table_help

表操作:

list  列出所有的表名

alter  更改表/列族的定义

  1)建立/修改列族

    列族属性 BLOOMFILTER  REPLICATION_SCOPE   MIN_VERSIONS COMPRESSION  TTL BLOCKSIZE IN_MEMORY IN_MEMORY_COMPACTION  BLOCKCACHE KEEP_DELETED_CELLS DATA_BLOCK_ENCODING

        CACHE_DATA_ON_WRITE CACHE_DATA_IN_L1 CACHE_BLOOMS_ON_WRITE CACHE_INDEX_ON_WRITE EVICT_BLOCKS_ON_CLOSE PREFETCH_BLOCKS_ON_OPEN ENCRYPTION ENCRYPTION_KEY IS_MOB_BYTES       

        MOB_THRESHOLD_BYTES

    格式: alter '表名',NAME=>'列族',属性名1=>属性值1,....

  2)修改/建立多个列族

    格式:alter '表名',{NAME=>'列族',属性名1=>属性值1,....},{NAME=>'列族',属性名1=>属性值1,....}

  3)删除列族:

    格式: alter '表名',‘delete’=>‘列族名’

  4)修改表级别的属性

    格式:alter '表名',属性名1=>属性值1,......

  5)设置表的配置

    格式 : alter '表名',CONFIGURATION => {'配置名' => '配置值'}

        alter '表名',{NAME=> '列族名',CONFIGURATION => {'配置名' => '配置值'}}

    例: alter 'test',{NAME=>'cf1',CONFIGURATION => {'hbase.hstore.blockingStoreFiles' => '15'}} 

  6) 删除表级别的属性

    格式:alter '表名',METHOD=>'table_att_unset',NAME=>'属性名' 

  7)同时执行多个命令

    格式:alter '表名‘,command1,command2,command3,....

HBase 笔记2

create  建立新表

  格式:create '表名','列族1',’列族2‘,....

       create '表名’,{NAME=>'列族1',属性名=>属性值},{NAME=>'列族2',属性名=>属性值},....

alter_status   查看表的各个Region的更新状况

alter_async    异步更新表

   格式:alter_async '表名',参数列表

describe 输出表的描述信息

  格式:describe '表名‘   或 desc '表名'

dsiable 停用指定表

  格式:disable '表名'

disable_all   使用正则表达式来停用多个表

  格式:disable_all '正则表达式'

is_disabled  检测指定表是否被停用

  格式: is_disabled  ’表名‘

drop 删除指定表

  格式 drop '表名'

drop_all  通过正则表达式删除多个表

  格式:drop_all 正则表达式

enable 启动指定表

  格式:enable '表名'

enable_all 通过正则表达式启动指定表

  格式:enable_all '正则表达式'

is_enabled 判断表是否启用

  格式: is_enabled '表名' 

exists 判断表是否存在

  格式:exists ’表名‘

show_filters 列出所有过滤器

get_table 把表名转换成一个对象

  格式: 变量 = get_table '表名'

locate_region  定位传入的行键对应的行在哪个Region里面

  格式:locate_region '表名',’行键‘

数据操作:

scan 按照字典排序遍历表的数据

  格式:scan '表名'

     scan '表名',{COLUMNS => ['列1 ',....]}  遍历指定列

      scan ‘表名' {STARTROW => '起始行键',END_ROW =》 ’结束行键‘}

     scan '表名',{LIMIT => 行数量}  指定返回的行数量

     scan '表名',{TIMERANGE => [最小时间戳,最大时间戳]}   ===》包含最小时间戳,最大不包含

    scan '表名',{VERSIONS => 版本数}    显示多个版本值

    scan '表名',{RAW =》 true ,VERSIONS => 版本数}  显示原始单元格记录

    scan '表名',{FILTER => '过滤器'}

get 通过行键获取某行记录

  格式: get '表名',’行键‘

count 计算表的行数

  格式: count ’表名‘

  1)指定计算步长

  格式:count '表名',INTERVAL => 行数计算步长

  2)指定缓存加速计算过程

  格式: count '表名',cache => 缓存条数

INTERVAL 和CACHE可以同时使用

delete 删除某列数据

  格式:delete ’表名‘,’行键‘,’列名‘ 【,时间戳】

deleteall 删除整行数据

  格式:deleteall ’表名‘ ,’行键‘

       deleteall '表名',’行键‘,‘列名’

       deleteall '表名',‘行键’,‘列明’,时间戳

incr  为计数器单元格的值加一,若单元格不存在则创建

  格式: incr '表名',‘行键’,‘列名’【,加减值】

put 新增记录 or 设置属性

  格式:put '表名',‘行键’,‘列名’,‘值’【,时间戳】  

     put '表名',‘行键’,‘列名’,‘值’,{‘属性名’ => ‘属性值’}
append 给某个单元格的值拼接上新的值
  格式:append '表名',‘行键’,‘列名’,‘值’    ===》单元格最新值后面会附加上新的值
truncate 清空表内的数据,但是保留表的属性
  格式:truncate '表名'
truncate_preserve  清空表内数据,但是会保留表对应的Region
  格式:truncate_preserve '表名'
get_splits  获取表对应的region个数
  格式:get_splits '表名'
 
 
工具方法:
close_region 下线指定region   ,先通过locate_region获取行键对应的region
  格式:close_region 'region名字'
HBase 笔记2

通过查询hbase:meta获取某个region的信息,如服务器的标识码

HBase 笔记2

unassign 下线指定的region后马上随机找一台服务器上线该region
  格式:unassign 'region 名字'【,true】
assign 上线指定region
  格式:assign ‘region名字’
move 移动一个region
  格式:move 'region名的hash值',‘服务器的标识码’
split 拆分指定的region
  格式:split ‘表名’
       split 'region名'
      split '表名‘,’切分点行键‘
     split ’region名‘,’切分点行键‘
merge_region 合并2个region为1个
  格式:merge_region 'region1的hash值',’region2的hash值‘
       merge_region 'region1的hash值',’region2的hash值‘,true  ==》强制合并
compact 调用指定表的所有的region或者指定列族的所有region的合并机制,可以合并该region或者该region的列族下所有的Hfile
  格式:compact ’表名‘【,’列族名‘】
       compact ’region名‘
      compact ’region名‘,’列族名
balancer 手动触发平衡器
  格式:balancer
balance_switch 打开或关闭平衡器
  格式:balance_switch true | false  
balancer_enabled 检测当前平衡器是否开启
  格式:balancer_enabled
catalogjanitor_run  开始运行目录管理器,所谓的目录是指hbase:meta表中存储的region信息
flush  手动触发指定表/region的刷血,将memstore内的数据持久化到磁盘,称为HFile文件
  格式:flush ’表名‘ | ’region名‘ | ’region名的hash值‘
zk_dump 打印zookeeper集群中存储的HBase集群信息
 
快照:
在表的某个时刻的结构和数据,使用快照恢复到那个时刻
snapshot 创建快照
  格式:snapshot '表名',’快照名‘【,{SKIP_FLUSH=> true}】
list_snapshots 列出所有的快照
restore_snapshot 使用快照恢复表
  格式:restore_snapshot '快照名'
clone_sanpshot 使用快照的数据创建一个表
  格式:clone_snapshot '快照名',’新表名‘
delete_snapshot  删除快照
  格式:delete_snapshot ’快照名‘
delete_all_snapshot 删除多个快照
  格式:delete_all-snapshot’正则表达式‘
 
命名空间:
list_namespace 列出所有的命名空间
list_namespace_tables 列出该命名空间下的表
  格式:list_namespace_tables '命名空间名'
create_namespace 创建命名空间
  格式:create_namespace '命名空间名'【,{’属性名‘ => '属性值'}】
describe_namespace 显示命名空间定义
  格式describe_namespace’命名空间名‘
alter_namespace 更改命名空间的属性或删除属性
  格式:alter_namespace '命名空间名',{METHOD => 'set','属性名'=> '属性值'}
     alter_namespace '命名空间名',{METHOD => 'unset',NAME => '属性名'}
drop_namespace 删除命名空间
  格式:删除之前确保命名空间内没有表
      drop_namespace '命名空间名'
 
安全:
list_security_capabilities 列出所有支持的安全特性
user_permission  列出指定用户的权限
  格式:user_permission ['表名']
grant 赋予用户权限
  READ  ’R‘  WRITE ’W‘ EXEC ’X‘ CREATE ’C‘ ADMIN ’A‘
  格式:grant ’用户‘ ,’权限表达式‘【,’表名‘】|【,’表名‘,’列族名‘】|【,’表名‘,’列族名‘,’列名‘】
revoke 取消用户权限
  格式:revoke ’用户‘ ,’权限表达式‘【,’表名‘】|【,’表名‘,’列族名‘】|【,’表名‘,’列族名‘,’列名‘】
 
 
    
 
上一篇:uva 11440 - Help Tomisu(欧拉功能)


下一篇:Hbase笔记1-2