Sqoop安装配置及将mysql数据导入到hdfs中


1.  解压Sqoop以及jar包拷贝

1)      Hadoop版本为1.0.4,下载sqoop版本1.4.4-1.0.0,解压。

2)      将mysql-connector的jar包(5.1.29版本)复制至sqoop解压后的lib目录下。

3)      把sqoop根目录下的sqoop-1.4.4.jar以及mysql-connector的jar包复制到hadoop根目录下的lib目录

2.  配置

在/etc/profile里配置sqoop环境变量:

export SQOOP_HOME=/home/hadoop/sqoop-1.4.4.bin__hadoop-1.0.0

export HADOOP_COMMON_HOME=/home/hadoop/usr/workspace/hadoop-1.0.4

export HADOOP_MAPRED_HOME=/home/hadoop/usr/workspace/hadoop-1.0.4

export PATH=${SQOOP_HOME}/bin:$PATH

3.  测试连接

进入${SQOOP_HOME}/bin目录, 通过shell脚本测试连接

$ ./sqoop list-databases --connect jdbc:mysql://IP_ADDRESS:3306/ --username root --password 123

Sqoop安装配置及将mysql数据导入到hdfs中

如上图所示则连接mysql数据库成功!

4.  向HDFS中导入数据

通过以下shell脚本从mysql数据库向hdfs导入数据

$ ./sqoop import --connect jdbc:mysql://IP_ADDRESS:3306/DATA_BASE --table DATA_BASE --username root --password 123 -m 1

Sqoop安装配置及将mysql数据导入到hdfs中

如上图所示,则数据通过MapReduce导入成功!

5.  查看结果

通过以下shell脚本,我们可以在master节点上查看,向hdfs上导入的数据

Sqoop安装配置及将mysql数据导入到hdfs中

 

Sqoop安装配置及将mysql数据导入到hdfs中,布布扣,bubuko.com

Sqoop安装配置及将mysql数据导入到hdfs中

上一篇:做为程序员对sql进行的性能优化


下一篇:[Linux]7z强压缩