Sqoop实现mysql与hive数据表互相导入

文章目录

1. 上传解压搭建sqoop

Sqoop实现mysql与hive数据表互相导入

1.1 解压后改名

Sqoop实现mysql与hive数据表互相导入

1.2 修改配置文件

vim /etc/profile    
source /etc/profile

Sqoop实现mysql与hive数据表互相导入

1.3 重命名

mv sqoop-env-template.sh sqoop-env.sh

Sqoop实现mysql与hive数据表互相导入

1.4修改配置文件

Sqoop实现mysql与hive数据表互相导入

1.5拷贝mysql驱动包到/usr/sqoop/lib库下

cp ~/mysql-connector-java-5.1.48.jar /usr/sqoop/lib/

Sqoop实现mysql与hive数据表互相导入Sqoop实现mysql与hive数据表互相导入

1.6 sqoop version查看版本

Sqoop实现mysql与hive数据表互相导入

1.7 测试连接

sqoop list-databases --connect jdbc:mysql://master1:3306/ --username root --password 123456

Sqoop实现mysql与hive数据表互相导入

2.将mysql中学生表导入到hive中

2.1 先清空hive中的student表

Sqoop实现mysql与hive数据表互相导入

2.2 MysqlToHive.opt 文件内容

Sqoop实现mysql与hive数据表互相导入

2.3 执行命令

sqoop --options-file  MysqlToHive.opt 

Sqoop实现mysql与hive数据表互相导入
Sqoop实现mysql与hive数据表互相导入

3. 将hive中student表导出到mysql的学生表中

3.1 先清空mysql中的学生表

Sqoop实现mysql与hive数据表互相导入
Sqoop实现mysql与hive数据表互相导入

3.2 HiveToMysql.opt 文件内容

Sqoop实现mysql与hive数据表互相导入

3.3 执行命令

sqoop --options-file  HiveToMysql.opt 

Sqoop实现mysql与hive数据表互相导入Sqoop实现mysql与hive数据表互相导入

上一篇:SQOOP安装及使用


下一篇:Sqoop基础知识(个人总结)