HBase笔记6 过滤器

过滤器

  过滤器是GET或者SCAN时过滤结果用的,相当于SQL的where语句

  HBase中的过滤器创建后会被序列化,然后分发到各个region server中,region server会还原过滤器并使用,这样scan中,不满足条件的结果不会返回客户端

  HBase笔记6 过滤器

  

值过滤器: (针对所有列)

  创建valueFilter实例:    Filter filter=new ValueFilter(CompareFilter.CompareOp.EQUAL,new SubstringComparator("xxxx"));

      CompareFileter包含一个枚举类,CompareOp,包含以下值:

      HBase笔记6 过滤器

      HBase笔记6 过滤器

      SubstringComparator是一个比较器,可以判断目标字符串是否包含所指定的字符串

单列值过滤器:

    相当于mycnf:name like "%wang%"

    new SingleColumnValueFilter(Bytes.toBytes("my.cnf"),Bytes.toBytes("name"),CompareFilter.CompareOp.EQUAL,new SubstringComparator("wang"))

    指定了列族 mycnf  列 name

    注意:

      遍历结果集时需要判断结果是否包含需要的列,没有则丢弃  或   使用过滤器列表,将列族过滤器,列过滤器和值过滤器放入过滤器列表,同时进行过滤

字符串完全匹配:

    相当于mycnf:name=wang

    new SingleColumnValueFilter(Bytes.toBytes("my.cnf"),Bytes.toBytes("name"),CompareFilter.CompareOp.EQUAL,newBinaryComparator("wang"))

比较数字:

    相当于mycnf:age > 10

    new SingleColumnValueFilter(Bytes.toBytes("my.cnf"),Bytes.toBytes("name"),CompareFilter.CompareOp.GREATER,new BinaryComparator(Bytes.toBytes(10)));

比较器:

  正则表达式比较器  RegexStringComparator  

  空值比较器 Null Comparator

  数字比较器 LongComparator

  比特位比较器 BitComparator

  字节数组前缀比较器 BinaryPrefixComparator

分页过滤器:

  构造函数: PageFilter(long pagesize)       pagesize就是每页的记录数

过滤器列表:

  构造函数1: FileterList(List<Filter> rowFilters)  多个过滤器组成的列表

  注意:过滤器列表添加的顺序不同,执行的结果也可能不同,原因在于执行顺序的不同,分页过滤器一定要放到最后

  构造函数2:FilterList(Operator operator,List<Filter> rowFilters)

    Operator可选值  MUST_PASS_ALL   相当于所有条件之间用AND连接

            MUST_PASS_ONE   相当于所有条件之间用OR连接

  构造函数3:FilterList(Operator operator)  默认内部存在一个List,可以使用一个addFilter方法来实现添加过滤器 FilterList.addFilter(Filter filter)

行键过滤器:

 行过滤器:

  相当于rowkey > row3

  new RowFilter(CompareFilter.CompareOp.GREATER,new BinaryComparator(Bytes.toBytes("row3")))

 多行范围过滤器:

  构造函数: MultiRowRangeFilter(List<RowRange> list)

  HBase笔记6 过滤器

 行键前缀过滤器:

  HBase笔记6 过滤器

模糊行键过滤器:

  构造函数:  public FuzzyRowFilter(List<Pair<byte[],byte[]>> fuzzyKeysData)

     fuzzyKeysData是模糊匹配的表达式,包括行键  &  行键掩码

      行键 就是匹配的行键关键字

      行键掩码: 行键掩码长度必须与行键长度一致,需要模糊匹配的字符处标记为1,其他位置为0

    HBase笔记6 过滤器

  包含结尾过滤器:

    HBase笔记6 过滤器

  随机行过滤器:(对数据随机采样)

    HBase笔记6 过滤器

    遍历一行随机的数字小于0.5则保留

列过滤器:

  列族过滤器:

    HBase笔记6 过滤器

  列过滤器:

    HBase笔记6 过滤器

  列前缀过滤器

    HBase笔记6 过滤器

  多列前缀过滤器:

    HBase笔记6 过滤器

  列键过滤器: 只获取列名

    构造函数: KeyOnlyFilter()

  首次列键过滤器

    构造函数:FirstKeyOnlyFilter()

  列名范围过滤器:

  HBase笔记6 过滤器

  HBase笔记6 过滤器

单元格过滤器:

  时间戳过滤器:

    HBase笔记6 过滤器

装饰过滤器

  跳转过滤器

    行中由一个列要跳过则整行跳过

    HBase笔记6 过滤器

  全匹配过滤器:

    若果一个过滤器filterKeyvalue()方法返回false,整体Scan会终止,即发现不符合结果时,终止,后面不查询

    HBase笔记6 过滤器

如何在HBAse中使用过滤器:

    scan '表名',{FILETR => '过滤器'}

    例: scan 'table',{FILTER => "(PrefixFilter('row1'))"}

  

  

 

      

上一篇:人人都可以写的可视化Python小程序第二篇:旋转的烟花


下一篇:Day1:第一个python小程序