hadoop笔记之Hive入门(什么是Hive)

2022-12-18 17:20:08

Hive入门(一)

Hive是个数据仓库，数据仓库就是数据库，但又与一般意义上的数据库有点区别

实际上，Hive是构建在hadoop HDFS上的一个数据仓库。

而数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，它用于支持企业或组织的决策分析处理

面向主题，那么什么又是主题呢？主题就是指用户使用数据仓库决策时所关心的重点的方面，比如商品的推荐系统，那么这里我们所关心的主题就是商品的信息
数据仓库是个集成的数据库，也就是说数据仓库的数据来自于分散的操作性的数据，我们把分散的操作数据从原来的数据当中抽取出来进行加工和处理，然后满足我们的要求，这样的数据才能进入数据仓库。也就是说原来的数据有可能来自Oracle，MySQL，有可能来自于文本文件，我们把数据集成起来，才形成数据仓库
数据仓库主要是为决策分析所提供数据，所以所涉及到的操作主要是数据的查询，一般都不会在数据仓库当中做更新和删除，这就是数据仓库的不可更新性
并且数据仓库当中的数据是随着时间推移而不产生变化的集合

数据源：

然后我们要对数据进行一个抽取转换装载的过程

数据存储及管理：

由于来自不同数据源的数据格式都不一样，因此需要转换，只有经过转换的满足格式的数据才能被进行装载在数据仓库当中

建立好数据仓库之后当然需要提供对外服务，这个时候就需要建立数据仓库引擎

数据仓库引擎：

而在数据仓库引擎当中包含了不同的服务器，不同的服务器提供不同的服务

前端展示：

On-Line Transaction Processing联机事务处理系统(OLTP)也称为面向交易的处理系统。它所关注的焦点是事务处理，典型的OLTP应用就是我们的银行转账。同样进行转账的业务，很明显扣钱和加钱的操作应该同时成功或者同时失败，不应该存在一个成功一个失败的情况，所以必须有事务的保证。OLTP系统操作频率会非常高，比如银行的转账业务时时刻刻都会发生
On-Line Analytical Processing联机分析处理系统(OLAP)。最典型的的应用就是商品推荐系统。这种应用是基于原来的历史数据，从而进行数据的分析和挖掘，然后提供给别的系统所使用。这种OLAP系统主要面向的是查询，所以一般这种系统不会做更新、插入、删除操作

码农公寓