从生成hfile问题发现rowkey排序机制

假如，我们要手动生成hfile到hdfs中，然后再通过bulkload将hifle导入到hbase数据库中

现在我要提前生成100个rowkey

// 生成rowkey list
 private List<String> getRowKeyList(String rowsNum) {
   List<String> list = new ArrayList<>();
   int total = Integer.parseInt(rowsNum);
   for (int i = 0; i < total; i++) {
     list.add(String.valueOf(i));
   }
   // sort
   //Collections.sort(list);
   return list;
}

// 如果我们在这里不做排序,rowkey是这样的,也是我们想象的顺序，我们都知道rowkey在hbase中是按字典排序的
0	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24	25	26	27	28	29	30	31	32	33	34	35	36	37	38	39	40	41	42	43	44	45	46	47	48	49	50	51	52	53	54	55	56	57	58	59	60	61	62	63	64	65	66	67	68	69	70	71	72	73	74	75	76	77	78	79	80	81	82	83	84	85	86	87	88	89	90	91	92	93	94	95	96	97	98	99


//现在我们要把数据写到hfile
HFileContext hfileContext = new HFileContextBuilder().withCompression(Compression.Algorithm.NONE).build();
Path hfilePathWithName = new Path(result.getOptionValue(HFILE_DIR) +
                                  File.separator + result.getOptionValue(CF_NAME) +
                                  File.separator + result.getOptionValue(HFILE_NAME));
HFile.Writer writer = HFile.getWriterFactory(conf, new CacheConfig(conf)).withPath(fs, hfilePathWithName).withFileContext(hfileContext).create();
for (String s : rowKeyList) {
  KeyValue keyValue = new KeyValue(Bytes.toBytes(s), Bytes.toBytes("cf"),Bytes.toBytes("col1"),             Bytes.toBytes(RandomStringUtils.random(Integer.parseInt(result.getOptionValue(ROW_SIZE)))));
  writer.append(keyValue);
}
  
// 这样在我们写hfile，写到第10条数据的时候报错了，说rowkey 10比前一条rowkey 9 要小,10怎么会小于9呢？
// 其实hbase是不区分数字和字符串的，在往hdfs中写hfile的时候，就会检查rowkey是不是符合排序规则的
[Ljava.lang.StackTraceElement;@7103ab0
null
Added a key not lexically larger than previous. Current cell = 10/cf:col1/LATEST_TIMESTAMP/Put/vlen=27/seqid=0, lastCell = 9/cf:col1/LATEST_TIMESTAMP/Put/vlen=29/seqid=0
End


//所以我们在生成rowkey list的时候,要排序，排序后的顺序跟我们想象的可能不一样哈
// Collections.sort(list);
0	1	10	11	12	13	14	15	16	17	18	19	2	20	21	22	23	24	25	26	27	28	29	3	30	31	32	33	34	35	36	37	38	39	4	40	41	42	43	44	45	46	47	48	49	5	50	51	52	53	54	55	56	57	58	59	6	60	61	62	63	64	65	66	67	68	69	7	70	71	72	73	74	75	76	77	78	79	8	80	81	82	83	84	85	86	87	88	89	9	90	91	92	93	94	95	96	97	98	99	
       

最终导入到hbase表中的rowkey也确实是长这样的