一、sqoop简介
用于在Hadoop(Hive)与传统的数据库(mysql、oracle...)之间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
二、sqoop原理
将导入或导出命令翻译成mapreduce程序来实现。
在翻译出的mapreduce中主要是对inputformat和outputformat进行定制
三、sqoop安装
前提：java和Hadoop
1、下载解压
tar -zxf
2、修改配置文件sqoop-env.sh
配置zk、Hadoop、hive、hbase等目录
3、拷贝JDBC驱动到sqoop的lib目录
4、验证Sqoop
bin/sqoop help
5、测试Sqoop是否能够成功连接数据库
bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password 123456
四、sqoop的简单使用案例
1、导入数据bin/sqoop import
全部导入
导入指定列 --columns
导入指定行 --where
查询导入：--query "select * from staff where \$CONDITIONS and id <= 25"
RDBMS到Hive：--hive-import
RDBMS到Hbase：--hbase-create-table
2、导出数据
HIVE/HDFS到RDBMS：--export-dir /company
Mysql中如果表不存在，不会自动创建
3、脚本打包
使用opt格式的文件打包sqoop命令
touch opt/job_mysql2hdfs.opt
vim opt/job_mysql2hdfs.opt import --connect jdbc:mysql://hadoop102:3306/company --username root --password 123456 --table staff --target-dir /company3 --delete-target-dir --num-mappers 1 --fields-terminated-by "\t" --split-by id
五、sqoop的一些命令和参数
1、常用命
|
序号 |
命令 |
类 |
说明 |
|
1 |
import |
ImportTool |
将数据导入到集群 |
|
2 |
export |
ExportTool |
将集群数据导出 |
|
3 |
codegen |
CodeGenTool |
获取数据库中某张表数据生成Java并打包Jar |
|
4 |
create-hive-table |
CreateHiveTableTool |
创建Hive表 |
|
5 |
eval |
EvalSqlTool |
查看SQL执行结果 |
|
6 |
import-all-tables |
ImportAllTablesTool |
导入某个数据库下所有表到HDFS中 |
|
7 |
job
|
JobTool |
用来生成一个sqoop的任务，生成后，该任务并不执行，除非使用命令执行该任务。 |
|
8 |
list-databases |
ListDatabasesTool |
列出所有数据库名 |
|
9 |
list-tables |
ListTablesTool |
列出某个数据库下所有表 |
|
10 |
merge |
MergeTool |
将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中 |
|
11 |
metastore
|
MetastoreTool |
记录sqoop job的元数据信息，如果不启动metastore实例，则默认的元数据存储目录为：~/.sqoop，如果要更改存储目录，可以在配置文件sqoop-site.xml中进行更改。 |
|
12 |
help |
HelpTool |
打印sqoop帮助信息 |
|
13 |
version |
VersionTool |
打印sqoop版本信息 |
2、命令&参数详解