(一)数据采集

- Flume：实时数据采集：采集文件或者网络端口
- Sqoop：离线数据同步：采集数据库的数据

(二)数据存储

- HDFS：分布式离线文件存储系统
- Hive：离线数据仓库
- 将HDFS上的文件映射成了表的结构，让用户可以通过数据库和表的形式来管理大数据

(三)数据计算

- MapReduce+YARN：分布式离线数据计算
- Hive：通过SQL进行分布式计算
- 将SQL语句转换为MapReduce程序，提交给YARN运行

(四）HBASE诞生

 随着大数据的发展，大数据的应用场景越来越多，有了实时性的需求
 HDFS、MapReduce：都只能实现离线的处理以及计算
 想做实时推荐
- 实时的采集用户的数据，实时分析，根据用户画像给用户推荐合适的商品
- 实时采集：Flume
- 实时存储：存储读写的性能在毫秒级别
- 实时计算：计算处理的性能在毫秒级别

	- 需要一项技术能实现大量的数据实时数据读写
   - HDFS已经满足不了：HDFS解决离线大数据存储读写

(五) 总而言之

- Hbase能实现基于海量数据的随机实时的数据存储及读写
- 与MySQL区别：Hbase实现大数据存储
- 与HDFS区别：Hbase性能更好，更快

（六）Hbase功能

- Hbase是一个分布式的NoSQL数据库，能实现随机实时的大量数据的读写

- 大数据存储：分布式 + HDFS

- 实时数据读写

#（存储结构）

（七）存储关系

hbase

- Table：分布式表，一张表划分了多个Region
- **RegionServer**：分布式集群节点，管理所有表的region
  - **Region**：每张表的每个分区，对表的数据进行划分
    - ==region的划分规则==：按照范围划分，从-oo 到+oo进行有序划分
    - ==数据的划分规则==：按照Rowkey或者Rowkey前缀，Rowkey属于哪个范围，写入对应的region
    - **Store**：对分区内部的数据再次划分，按照列族进行划分Store
      - **MemStore**：内存区域，用于存储刚写入的数据，使用的RegionServer的JVM内存
        - 如果到达一定的阈值，就会写入HDFS，变成文件
      - **StoreFile**：逻辑上属于Store，物理上存储在HDFS【HFILE】

HDFS存储关系

- Hbase目录：/hbase
- Hbase数据：/hbase/data
  - NS目录
    - Table的目录
      - Region的目录
        - 列族的目录

（八）热点问题

- 现象：大量的读写请求全部集中在某个Region或者某个RegionServer上

- 原因：数据分配的不均衡

  - 情况一：表只有一个分区
  - 情况二：表有多个分区，但是Rowkey是连续的，或者与分区的划分不匹配
    - Rowkey是连续，写入同一个Region
    - 分区都是按照数字划分的，但是Rowkey是字母开头
    
    - 解决
- 实现预分区

  - 方式一：创建表时候：SPLITS => [10，30……]
  - 方式二：指定分区的个数，根据数字和字母的Hash组合
    - 应用：Rowkey的前缀是字母和数字组合
  - 方式三：Java API

- 合理的设计Rowkey，根据Rowkey的前缀或者完整的Rowkey来划分分区

  - Rowkey的设计规则

  - ==业务原则==：尽量用最常用的查询条件作为Rowkey的前缀

    - 目的：尽量走索引查询

  - ==唯一原则==：每条Rowkey是不能重复

    - 目的：唯一标识一条数据

  - ==组合原则==：将最常用的几个查询条件组合构建Rowkey

    - 目的：尽量大部分查询都走索引

  - ==散列原则==：Rowkey整体或者前缀不能是连续的，需要构建随机的散列

    - 目的：避免热点问题

  - ==长度原则==：在满足业务需求情况下，越短越好

    - 目的：提高性能

      - Rowkey本身每列都会存储：存储占用的空间越大

      - Rowkey会构建索引：内存的占用越大，比较就越慢