一、sqoop作用？
sqoop是一个数据交换工具，最常用的两个工具是导入导出。
导入导出的参照物是hadoop，向hadoop导数据就是导入。
二、sqoop的版本？
sqoop目前有两个版本，1.4.X为sqoop1；1.99.X为sqoop2。两个版本不兼容。
三、使用sqoop列出mysql下的所有数据库
(my_python_env)[root@hadoop26 ~]# sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root --password 123456
information_schema
hive
mysql
test
四、Import工具的使用
4.1将mysql中的某张表导入到hdfs上，现在test下有一张person表
4.2执行sqoop语句
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 -table person
4.3在hdfs用户的家目录下，产生了一个person文件夹
(my_python_env)[root@hadoop26 ~]# hadoop fs -ls
Found items
drwx------ - root supergroup -- : .Trash
drwxr-xr-x - root supergroup -- : person
(my_python_env)[root@hadoop26 ~]# hadoop fs -ls person
Found items
-rw-r--r-- root supergroup -- : person/_SUCCESS
-rw-r--r-- root supergroup -- : person/part-m-
-rw-r--r-- root supergroup -- : person/part-m-
(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person/part-*
,zhangsan,false
,lisi,true
4.4delete-target-dir参数
当再次执行sqoop语句的时候，会报错，因为person文件夹已经存在了，我们需要先删除这个文件夹再运行sqoop语句。
也可以使用sqoop提供的delete-target-dir参数
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 -table person --delete-target-dir
4.5append参数
如果目标文件夹在hdfs上已经存在，那么再次运行就会报错。可以使用--delete-target-dir来先删除目录。也可以使用append来往目录下追加数据。append和delete-target-dir是相互冲突的。
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --append
执行完成后，查看hdfs上的文件
(my_python_env)[root@hadoop26 ~]# hadoop fs -ls person
Found items
-rw-r--r-- root supergroup -- : person/_SUCCESS
-rw-r--r-- root supergroup -- : person/part-m-
-rw-r--r-- root supergroup -- : person/part-m-
-rw-r--r-- root supergroup -- : person/part-m-
-rw-r--r-- root supergroup -- : person/part-m-
4.6target-dir参数
上述的所有操作都是吧mysql中的数据写到一个默认的目录下，可以使用target-dir来指定hdfs的目录名
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --append --target-dir person-mysql
查看hdfs上的目录
(my_python_env)[root@hadoop26 ~]# hadoop fs -ls
Found items
drwx------ - root supergroup -- : .Trash
drwxr-xr-x - root supergroup -- : _sqoop
drwxr-xr-x - root supergroup -- : person
drwxr-xr-x - root supergroup -- : person-mysql
4.7map的个数
现在mysql表person中的数据增加到了11条
再次执行sqoop语句来导入
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --table person --target-dir person-mysql
查看hdfs上的目录
(my_python_env)[root@hadoop26 ~]# hadoop fs -ls person-mysql
Found items
-rw-r--r-- root supergroup -- : person-mysql/_SUCCESS
-rw-r--r-- root supergroup -- : person-mysql/part-m-
-rw-r--r-- root supergroup -- : person-mysql/part-m-
-rw-r--r-- root supergroup -- : person-mysql/part-m-
-rw-r--r-- root supergroup -- : person-mysql/part-m-
从上面的结果可以发现，这个作业启动了4个map任务，所以sqoop默认配置就是4个map，用户也可以通过-m参数，自己指定map的数量
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --table person --target-dir person-mysql -m 1
查看hdfs上的目录发现，这次只启动了一个map任务
(my_python_env)[root@hadoop26 ~]# hadoop fs -ls person-mysql
Found items
-rw-r--r-- root supergroup -- : person-mysql/_SUCCESS
-rw-r--r-- root supergroup -- : person-mysql/part-m-
4.8where参数
where参数可以进行一些简单的筛选
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --table person --target-dir person-mysql -m 1 --where "gender=0"
(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person-mysql/part*
,zhangsan,false
,,false
,,false
,,false
,,false
,,false
,,false
,,false
4.9query参数
query参数就可以让用户随意写sql语句来查询了。query和table参数是互斥的。
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --target-dir person-mysql -m 1 --query "select * from person where name='003' and gender=0 and \$CONDITIONS"
(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person-mysql/part-*
,,false
4.10压缩
如果想要使得导入到hdfs上的数据被压缩，就可以使用-z或者--compression-codec来进行压缩，-z压缩方式是gzip压缩，--compression-codec可以自定义压缩方式
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --target-dir person-mysql -m 1 --table person -z
查看hdfs上的结果：
(my_python_env)[root@hadoop26 ~]# hadoop fs -ls person-mysql
Found items
-rw-r--r-- root supergroup -- : person-mysql/_SUCCESS
-rw-r--r-- root supergroup -- : person-mysql/part-m-.gz
使用Snappy方式压缩
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --target-dir person-mysql -m 1 --table person --compression-codec org.apache.hadoop.io.compress.SnappyCodec
4.11空值处理
像如图id=12的记录是没有name和gender的，如果不加处理，导入到hdfs上是这样子的：
(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person-mysql/part*
,zhangsan,false
,lisi,true
,,false
,,false
,,true
,,false
,,false
,,false
,,false
,,true
,,false
,null,null
sqoop提供了--null-string来处理字符类型的空值，提供了--null-non-string来处理非字符类型的空值。
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --delete-target-dir --target-dir person-mysql -m 1 --table person --null-string "" --null-non-string "false"
执行结果是：
(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person-mysql/part*
,zhangsan,false
,lisi,true
,,false
,,false
,,true
,,false
,,false
,,false
,,false
,,true
,,false
,,false
4.12增量传输
增量导入的一个场景就是昨天导入了一批数据，今天又增加了部分数据，现在要把这部分数据也导入到hdfs中。
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --target-dir person-mysql -m 1 --table person --null-string "" --null-non-string "false" --check-column "id" --incremental append --last-value 5
执行结果是：
(my_python_env)[root@hadoop26 ~]# hadoop fs -cat person-mysql/part-m-
,,false
,,false
,,false
,,false
,,true
,,false
,,false