知识点整理:Sqoop

文章目录

1 Sqoop 简介

Sqoop是一个用于在 Hadoop 和关系数据库之间传输数据的工具

将导入或导出命令翻译成 MapReduce 程序来并行操作和容错,在翻译出的 MapReduce 中主要是对 inputformat 和 outputformat 进行定制


2 Sqoop 工作流程

  1. 读取要导入数据的表的结构,生成运行类,默认是 QueryResult,打成 jar 包,然后提交给 Hadoop
  2. 设置好 job 的各种参数,如 InputFormatClass、OutputFormatClass、Mapper、taskNumbers等
  3. 之后就是由 Hadoop 执行 MapReduce 来执行 Import 命令了
上一篇:大数据同步工具sqoop的上手操作


下一篇:Sqoop安装