sqoop应用

1.导入数据(将mysql(rdbms)的表的数据导入到hdfs)

1.1.全部导入(注意空格)

sqoop import \
--connect jdbc:mysql://192.168.159.110:3306/stu \   (stu数据库名称 写自己的ip)
--username root \
--password 123456 \
--table students \
--target-dir /user/test3 \   (导入到hdfs位置,会自动创建,如果存在,会自动删除在创建)
--delete-target-dir \
--m 1 \
--fields-terminated-by "\t";  (分割符)

1.2.查询导入

sqoop import \
--connect jdbc:mysql://192.168.159.110:3306/stu \
--username root \
--password 123456 \
--target-dir /user/test4 \
--delete-target-dir \
--m 1 \
--fields-terminated-by "\t" \
--query 'select id,name from students where id <=1 and $CONDITIONS';

注意:sql语句的末尾必须加上$CONDITIONS

1.3.导入指定的列

sqoop import \
--connect jdbc:mysql://hadoop01:3306/stu \ (既可以写名称也可以写ip)
--username root \
--password 123456 \
--target-dir /user/test5 \
--delete-target-dir \
--m 1 \
--fields-terminated-by "\t" \
--columns id \
--table students;

提示::columns中如果涉及到多列时,用逗号分割,分割时不要添加空格

1.4.使用sqoop关键字筛选查询导入数据

sqoop import \
--connect jdbc:mysql://hadoop01:3306/stu \
--username root \
--password 123456 \
--target-dir /user/test6 \
--delete-target-dir \
--m 1 \
--fields-terminated-by "\t" \
-table students \
--where "id=2";

 

上一篇:spring事务源码解析


下一篇:sqoop简介和原理分析