hive 基础知识

hadoop hive 

1)2007年hive出世,

2)2014hive0.13.0是非常的流行(先对来说比较稳定)

3)2015hive1.2.0(相对来说只不过是升级)

4)2016hive2.1.0(更新了很多的功能)

1.1hive元数据管理

1)通过hive对元数据进行建模加工,变成表的形式,建立数据仓库管理

2)建立一套类似于关系型数据库的形式,并不是存储在hive上,而是存储在关系型的数据库,而在hive现实中的元数据并不是存储在hadoop上

3)mysql是提供hive的存储

1.2hive的体系架构

处理大型的数据,适合做P处理的数据,

metastore:关系型数据库

Driver:核心驱动 Server:链接jdbc

1.3常用的命令:

1)Belline模式

2)命令行模式

formatted

1.4数据类型

String(万能),decimal (数组的计算)

复杂数据类型

array数组['apple','Orange','Mongo']

map(映射)['a':'apple','o':'orange']键值对

相当于一个技能水平到达了多少分

struct(可以有多个列)

1.5 元数据表结构

database是副文件夹,table是子文件夹

partition:对应的是文件夹来分析数据

buckets:分桶 查询连接的优化,决定数据如何分配,是数据文件的一部分,对应的是一个数据文件(文件数据上的分离)

row(行):对应的是一个数据文件是横看

views:查询数据数据的成像,不存数据

Index:索引,对应的是文件夹和文件

1.6 hiveDatabase(数据库)

创建database:create database name

将要切换database:use database name

默认路径:/user/hive/warehouse

1.7 hive Tables(外部表于内部表)

1)external tables(外部表):关键字创建表格时添加Location '地址',删除表不会删除数据

2)内部表(管理表):数据完全由Hive管理,删除表(元数据)会删除数据

hive建表语句

必写:row format delimited;(delimited 分割)

每个列进行|分割:fields terminated by '|'

数组我们用,分割:collection items terminated by ','

键值对我们用:分割:Map keys terminated by ':'

 

 

 

上一篇:hive 模块二


下一篇:简单的音乐播放器(VS 2010 + Qt 4.8.5)