hbase

1、提高Hbase API写入操作效率:

  • Write Buffer Size Hbase Client会在数据累积到设置的阈值后才提交Region
    Server。这样做的好处在于可以减少RPC连接次数
  • Compression 压缩
    HColumnDescriptor hcd = new HColumnDescriptor(familyName);
    hcd.setCompressionType(Algorithm.SNAPPY); 数据量大,边压边写也会提升性能的,毕竟IO是大数据最严重的瓶颈,哪怕使用了SSD也一样。压缩方式推荐使用SNAPPY。从压缩率和压缩速度来看,性价比最高。
  • 预分区和rowkey散列:防止热点写
hbasehbase laogooooog 发布了24 篇原创文章 · 获赞 0 · 访问量 896 私信 关注
上一篇:浅谈USB驱动架构 转载


下一篇:矩阵乘法