CentOS搭建Sqoop环境

2022-09-23 09:09:36

Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

Sqoop安装

1、下载Sqoop安装包

在Sqoop官网下载安装包，本次使用的是sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz安装在/usr/local目录下，下载地址为http://apache.fayea.com/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2、解压Sqoop安装包

 #进入sqoop安装目录

 [hadoop@BigData ~]$ cd /usr/local

 #解压sqoop安装包

 [hadoop@BigData ~]$ tar -zxvf sqoop-1.4..bin__hadoop-2.0.-alpha.tar.gz

 #删除sqoop安装包

 [hadoop@BigData ~]$ rm -rf sqoop-1.4..bin__hadoop-2.0.-alpha.tar.gz

 #重命名sqoop目录名

 [hadoop@BigData ~]$ mv sqoop-1.4..bin__hadoop-2.0.-alpha sqoop

3、配置Sqoop环境变量

 #配置Sqoop环境变量

 [root@BigData ~]# vi /etc/profile

 export SQOOP_HOME=/usr/local/sqoop

 export PATH=$PATH:$SQOOP_HOME/bin

 #使环境变量配置生效

 [root@BigData ~]#/etc/profile

4、将关系型数据库驱动包放到sqoop/lib目录下

MySql：mysql-connector-java-5.1.30.jar

Oracle：ojdbc14.jar

5、修改Sqoop配置文件

 [hadoop@BigData ~]$ mv sqoop-env-template.sh sqoop-env.sh

 [hadoop@BigData ~]$ vi sqoop-env.sh

 #Set path to where bin/hadoop is available

 export HADOOP_COMMON_HOME=/usr/local/hadoop

 #Set path to where hadoop-*-core.jar is available

 export HADOOP_MAPRED_HOME=/usr/local/hadoop

 #set the path to where bin/hbase is available

 export HBASE_HOME=/usr/local/hbase

 #Set the path to where bin/hive is available

 export HIVE_HOME=/usr/local/hive

 #Set the path for where zookeper config dir is

 export ZOOCFGDIR=/usr/local/zookeeper

到此，sqoop环境就已搭建成功！

Sqoop测试

1、导入MySql数据到hdfs中

mysql数据库中sqoop库中出来test表，表结构及数据如下所示：

id	username	gender	telephone	email
1	test_01	Female	138xxxx0903	test_01@example.com
2	test_02	Male	187xxxx9364	test_02@example.com

该命令执行结束后，观察hdfs的目录/user/{USER_NAME}，下面会有一个文件夹是test，里面有个文件是part-m-00000。该文件的内容就是数据表aa的内容，字段之间是使用制表符分割的。

2、hdfs导出数据到mysql

把上一步导入到hdfs的数据导出到mysql中。我们已知该文件使用制表符分隔的。那么，我们现在数据库sqoop中创建一个数据表hive，其表结构和test表结构一样。然后执行下面的命令

 [hadoop@BigData ~]$sqoop export --connect jdbc:mysql://localhost:3306/sqoop --username root --password root --table hive --export-dir '/user/hadoop/test/part-m-00000'--fields-terminated-by '\t'

参数解释：

参数	解释
sqoop	sqoop命令
export	导出操作
--connect jdbc:mysql://ip:3306/sqoop	连接mysql的url
--username	连接mysql的用户名
--password	连接mysql的密码
--table	mysql中的表，即将被导入的表名称
--export-dir	hive中被导出的文件
--fields-terminated-by	指定输出文件中的行的字段分隔符

查看sqoop库中的hive表中是否已经有两条数据

id	username	gender	telephone	email
1	test_01	Female	138xxxx0903	test_01@example.com
2	test_02	Male	187xxxx9364	test_02@example.com

3、Mysql数据导入到Hive

比如把表test数据导入到Hive中，增加参数 –hive-import

 [hadoop@BigData ~]$ sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username root --password root --table test --warehouse-dir /usr/local/hive/warehouse --hive-import --create-hive-table

进入Hive Client验证导入的数据：

 [hadoop@BigData bin]$ hive client

 hive> show tables;

 user_information

 test

 login_log

 hive> select * from test;

    test_01 Female  138xxxx0903 test_01@example.com

    test_02 Male    187xxxx9364 test_02@example.com

4、Mysql数据导入到Hbase

把表test数据导入到HBase，指定Hbase中表名为demo_sqoop2hbase的命令

 [hadoop@BigData ~]$ sqoop  import --connect jdbc:mysql://localhost:3306/sqoop --username root --password root --table test --hbase-table demo_sqoop2hbase --hbase-create-table --hbase-row-key id --column-family url

hbase shell中验证导入的数据：

 [hadoop@BigData bin]$ hbase shell

 hbase(main)::>list

 demo_sqoop2hbase

码农公寓