Hive 实战(1)--hive数据导入/导出基础

前沿:

  Hive也采用类SQL的语法, 但其作为数据仓库, 与面向OLTP的传统关系型数据库(Mysql/Oracle)有着天然的差别. 它用于离线的数据计算分析, 而不追求高并发/低延时的应用场景. 最显著的特别是, Hive的数据是Schema On Read, 对数据的写入非常的*和松散, 而对数据的读取则作了各种限制. 而RMDBS则是Schema On Write, 对数据写入限制非常的严苛.

*). 数据导入/导出
  让我们体验以下Hive中数据如何导入:
  1). 创建数据库 db_hive_test;
  CREATE DATABASE db_hive_test;
  则在HDFS的目录/user/hive/warehouse下
  [<username>@<hostname> ~]# sudo -u hdfs hdfs dfs -ls /user/hive/warehouse
  drwxrwxrwt - root hive 0 2014-07-02 10:49 /user/hive/warehouse/db_hive_test.db
  Hive 实战(1)--hive数据导入/导出基础

  2). 创建数据表 tb_user

  CREATE TABLE tb_user (
    user_id int,
    username string,
    age int,
    phone string
  ) ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '\t'
  STORED AS TEXTFILE;

  3). 数据准备
  在本地编辑data.txt, 内容如下所示:

  [<username>@<hostname> ~]# cat data.txt
  1001 lilei 17 13800001111
  1002 hanmm 16 13800001112
  1003 lily 16 13800001113
  1004 lucy 16 13800001114

  4). 导入数据入hive

  LOAD DATA LOCAL INPATH '/path/to/data.txt' INTO TABLE db_hive_test.tb_user;

  5). 数据验证
  select * from tb_user;
  Hive 实战(1)--hive数据导入/导出基础

  是不是很简单? 但为何不使用Insert Into单行插入数据, 实际上hive的定位, 其并不支持单行的数据插入(insert)和修改(update).
  数据的导入可以借助
  #) LOAD DATA语法
  LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
  #) INSERT SELECT语法
  INSERT OVERWRITE/INTO TABLE <table_name> [PARTITION(partcol1=val1, partclo2=val2 ...)] SELECT_STATEMENT
  注: OVERWRITE重写,INTO追加。

  6). 创建数据表tb_newuser;

  CREATE TABLE tb_newuser ( 
    user_id int,
    username string,
    age int,
    phone string
  ) ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '\t'
  STORED AS TEXTFILE;

  7). INSERT SELECT

  INSERT INTO TABLE tb_newuser SELECT * FROM tb_user;

  8). 数据验证
  SELECT * FROM tb_newuser;
  Hive 实战(1)--hive数据导入/导出基础

  数据表结构复制
  CREATE TABLE tb_newuser02 LIKE tb_user;

  创建表时导入
  CREATE TABLE tb_newuser01 SELECT * FROM tb_user;

  数据如何导出
  导出语法: INSERT OVERWRITE/INTO LOCAL DIRECTORY '<directory>' SELECT_STATEMENT  

  INSERT OVERWRITE LOCAL DIRECTORY '/path/to/data' SELECT * FROM tb_user;
  cat /path/to/data/000000_0
  Hive 实战(1)--hive数据导入/导出基础

  INSERT OVERWRITE DIRECTORY '/path/to/data' SELECT * FROM tb_user;
  Hive 实战(1)--hive数据导入/导出基础

  Local的有无, 其区别在于, 一个存放在本地, 另一个存放在hdfs上

上一篇:Myeclipse开发内存溢出问题


下一篇:WCF绑定类型选择