sqoop导入hdfs时指定num-mappers参数

num-mappers可以指定mapper运行计算数量,当指定为1时,可以不用设置split-by参数,不指定num-mappers时,默认为4,当不指定或者num-mappers大于1时,需要指定split-by参数。例子如下:

使用查询语句(--e或--query)导入时,需要指定--split-by参数及--target-dir参数;
When importing query results in parallel, you must specify --split-by. Must specify destination with --target-dir.

 

sqoop import --connect  connect jdbc:mysql://114.215xx.xx.xx:3306/crawler_data \

--username test --password test  \

--e ‘select * from T_SQOOP_TEST where $CONDITIONS‘ --verbose --split-by  id --target-dir temp3 --m 1

 

sqoop导入hdfs时指定num-mappers参数

上一篇:“21天好习惯”第一期-9


下一篇:CCPC2021 哈尔滨站 游记