文章目录
1 Sqoop 简介
Sqoop是一个用于在 Hadoop 和关系数据库之间传输数据的工具
将导入或导出命令翻译成 MapReduce 程序来并行操作和容错,在翻译出的 MapReduce 中主要是对 inputformat 和 outputformat 进行定制
2 Sqoop 工作流程
- 读取要导入数据的表的结构,生成运行类,默认是 QueryResult,打成 jar 包,然后提交给 Hadoop
- 设置好 job 的各种参数,如 InputFormatClass、OutputFormatClass、Mapper、taskNumbers等
- 之后就是由 Hadoop 执行 MapReduce 来执行 Import 命令了