Hive——简介

Hive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据， 可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能.可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去 查询分析需要的内容，这套 SQL 简称 Hive SQL。

 

Hive的产生背景及介绍

产生背景

1)MapReduce编程的不便性（MapReduce编程十分繁琐，而且不方便修改）

2)HDFS上缺少Schema

 

Hive是什么

        1)由FaceBook开源，最初用于解决海量结构化的日志数据统计问题

2)构建在hadoop上的数据仓库

3)Hive定义了一种类SQL查询语言：HQL(类似sql但不完全相同)

4)通常用于进行离线数据处理(早期底层采用mapreduce)

5)底层支持多种不同执行引擎

6)支持多种不同的压缩格式、存储格式以及自定义函数

（Hive现在的底层执行引擎支持很多包括spark(Hive on spark)，mapreduce(Hive on mapreduce)、Tez(Hive on Tez)）

 

为什么要用Hive（Hive的优势）

        1)简单、容易上手（提供了类似sql查询语言hql）

2)为超大数据集设计的计算/存储扩展能力（MR计算，HDFS存储）

3)统一的元数据管理（可于Presto/Impala/SparkSQL等共享数据）

 

Hive的发展历程

 

    在Hive的发展历程中，不得不提的就是Stinger 

    Stinger分了几个阶段来做：Phase 1、2、3 ，Stringer.next；这几个阶段对Hive性能的提升是非常至关重要的

    07/08 facebook 

    13/05 hive-0.11 Stinger Phase 1 加入了ORC/HiveServer2 

    13/10 hive-0.12 Stinger Phase 2 ORC improvement(对ORC做了些改善) 

    14/04 hive-0.13 Stinger Phase 3 Tez/Vectorized query engine(加入了Tez和支持向量化的查询) 

    14/11 hive-0.14 Stinger.next Phase 1 Cost-based optimizer(Cost-based简称CBO)

    (The Stinger Initiative making Apache Hive 100 times faster)

 

Hive系统架构

    

Command-line shell：shell操作客户端

Trift/JDBC：Thrift代表一种协议/服务端启起来，客户端可以通过JDBC的方式去访问

Driver:接收sql做相应的分析处理：

    1）首先将SQL语句转换成抽象语法树(抽象语法树拿到是不能执行的)

     2）将抽象语法树转换成逻辑执行计划

     3）对逻辑执行计划进行优化，形成物理执行计划，优化之后才能够变成作业去运行

MapReduce:底层执行引擎

HadoopStorage:计算结果输出存储

Metastore:元数据存储

    1）metastore默认是存放在derby库中，通常现实中部署都是存放在mysql库中。其中生产上存储metastore的mysql要做HA.

     2）metastore包括的内容：

        1>：database: name,location,owner,name 

        2>：table: name,owner,location,column name/type/index,createtime

     3）hive的metastore是和Spark/impala通用的，例如在hive中创建一张表，在Spark/impala中也能使用，反之Spark/impala创建的表在hive中也能使用。

    

 Hive部署架构

注意点：1）生产上部署时Hive的元数据存储的数据库要做主备。

              2）Hive不需要部署在每台机器上，一台就行，他就是一个客户端，解析你的sql生成mr交给yarn运行