sqoop 从mysql导入数据到HDFS

1.准备sqoop和hdfs环境

(暂略)

2.新建配置文件option

import
--connect
jdbc:mysql://{MYSQL_HOST}:3306/ingestion_db1?serverTimezone=UTC&rewriteBatchedStatements=true
--username
root
--password
123456--columns
id,brandcode,isdeleted
--where
1=1
--table
rbrand
--target-dir
/tmp/sqoop/data
--as-textfile
--fields-terminated-by
','
-m
1

rbrand是要导出的表,如下:

sqoop 从mysql导入数据到HDFS

 

 

3.执行sqoop命令开始导出

sqoop --options-file option

4.执行HDFS命令检查导出结果

hadoop fs -cat /tmp/sqoop/data/part-m-00000

sqoop 从mysql导入数据到HDFS

 

上一篇:大数据模块开发----结果导出


下一篇:通过Hue+Oozie调用sqoop1的一些坑