需求

将Oracle中的业务基础表增量数据导入Hive中，与当前的全量表合并为最新的全量表。

---

---

设计

涉及的三张表：

• 全量表：保存了截止上一次同步时间的全量基础数据表
  
• 增量表：增量临时表
  
• 更新后的全量表：更新后的全量数据表
  

步骤：

1. 通过Sqoop将Oracle中的表导入Hive，模拟全量表和增量表
   
2. 通过Hive将“全量表+增量表”合并为“更新后的全量表”，覆盖当前的全量表

---

步骤1：通过Sqoop将Oracle中表的导入Hive，模拟全量表和增量表

为了模拟场景，需要一张全量表，和一张增量表，由于数据源有限，所以两个表都来自Oracle中的OMP_SERVICE，全量表包含所有数据，在Hive中名称叫service_all，增量表包含部分时间段数据，在Hive中名称叫service_tmp。

---

（1）全量表导入：导出所有数据，只要部分字段，导入到Hive指定表里

为实现导入Hive功能，需要先配置HCatalog（HCatalog是Hive子模块）的环境变量，/etc/profile中新增：

export HCAT_HOME=/home/fulong/Hive/apache-hive-0.13.1-bin/hcatalog

执行以下命令导入数据：

注意：用户名必须大写

---

（2）增量表导入：只导出所需时间范围内的数据，只要部分字段，导入到Hive指定表里

使用以下命令导入数据：

注意：

1. 由于使用了--hive-overwrite参数，所以该语句可反复执行，往service_tmp表中覆盖插入最新的增量数据；
   
2. Sqoop还支持使用复杂Sql语句查询数据导入，相亲参见http://sqoop.apache.org/docs/1.4.4/SqoopUserGuide.html的“7.2.3.Free-form Query Imports”章节
   

---

（3）验证导入结果：列出所有表，统计行数，查看表结构

---

步骤2：通过Hive将“全量表+增量表”合并为“更新后的全量表”，覆盖当前的全量表

---

合并新表的逻辑如下：

• 整个tmp表进入最终表中
  
• all表的数据中不包含在tmp表service_code范围内的数据全部进入新表
  

执行以下sql语句可以合并得到更新后的全量表：

hive> select * from service_tmp union all select a.* from service_all a left outer join service_tmp b on a.service_code = b.service_code where b.service_code is null;

我们需要直接将查询结果更新回全量表中：

hive> insert overwrite table service_all select * from service_tmp union all select a.* from service_all a left outer join service_tmp b on a.service_code = b.service_code where b.service_code is null;

注意，将查询结果插入表有以下两类语法：

• INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] select_statement1 FROM from_statement;
  
• INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
  

INSERT OVERWRITE 将会覆盖现有数据，由于当前场景需要更新全量表，所以使用了覆盖模式；

INSERT INTO 不会覆盖现有数据，是追加数据

---

到此为止，Hive中的service_all表已经更新为最新的数据！

在真实场景中，需要结合shell+cron实现该过程的定时执行。