大数据平台Hive数据迁移至阿里云ODPS平台流程与问题记录

2023-08-29 23:00:10

一、背景介绍

　　最近几天，接到公司的一个将当前大数据平台数据全部迁移到阿里云ODPS平台上的任务。而申请的这个ODPS平台是属于政务内网的，因考虑到安全问题当前的大数据平台与阿里云ODPS的网络是不通的，所以不能使用数据采集工作流模板。

　　然而，考虑到原大数据平台数据量并不是很大，可以通过将原大数据平台数据导出到CSV文件，然后再将CSV文件导入到ODPS平台。在这个过程中踩的坑有点多，所以想写篇文档作为记录。

二、大数据平台Hive数据导出到本地

　　编写export_data.sh脚本如下：

#!/bin/bash

#

#导出数据

hive -e "use swt_ods; show tables;" > /root/hive_data/table_names.txt

for table_name in `cat /root/hive_data/table_names.txt`

do

  hive -e "select * from swt_ods.$table_name;" > /root/hive_data/export_data/$table_name".csv"

  sed -i 's/\t/,/g' /root/hive_data/export_data/$table_name".csv"

done

　　执行脚本，并将数据/root/hive_data/export_data/目录下载到本地。

三、ODPS平台创建对应表

3.1 导出原大数据平台Hive建表语句

　　编写export_create_table_sql.sh脚本如下：

#!/bin/bash

#

#导出DDL

hive -e "use swt_ods; show tables;" > /root/hive_data/table_names.txt

for table_name in `cat /root/hive_data/table_names.txt`

do

  hive -e "show create table swt_ods.$table_name;" > /root/hive_data/export_create_table_sql/$table_name

  tac $table_name| sed ,14d| tac > /root/hive_data/export_create_table_sql/$table_name".sql"

  rm -f $table_name

  echo ";" >> /root/hive_data/export_create_table_sql/$table_name".sql"

  cat /root/hive_data/export_create_table_sql/$table_name".sql" >> /root/hive_data/export_create_table_sql/all.sql

done

　　执行脚本，并将/root/hive_data/export_create_table_sql/all.sql下载到本地。

3.2 在ODPS中创建对应的表

3.2.1 下载并配置MaxCompute 命令行工具

　　下载及说明地址：http://repo.aliyun.com/odpscmd/?spm=a2c4g.11186623.2.4.SNNjSQ

　　点击压缩包链接下载

　　在Windows中，解压即安装。在解压目录中配置odps_config.ini文件

　　在解压目录odpscmd_public\bin目录下，双击运行odpscmd.bat。

3.2.2 使用命令行创建表

　　将all.sql中的建表语句粘贴到命令行执行即可创建表。

3.2.3 建表过程遇到的问题

　　主要问题：

　　一是，hive中建表的属性的数据类型和MaxCompute的数据类型不对应。可以参考数据类型说明文档，https://help.aliyun.com/document_detail/27821.html?spm=a2c4g.11186623.2.5.X8fmyl 。例如：decimal类型不需要添加精度，如果写成decimal(a,b)则会报错；MaxCompute没有date类型，只有datetime类型；没有char类型。所以要根据MaxCompute的数据类型，对hive的建表语句进行调整。