sqoop mysql导入hdfs 需要注意的点

1、可有可无的配置

sqoop  mysql导入hdfs 需要注意的点

2、sqoop导入需要指定一个字段为分割字段,select max(id),min(id) from test  然后根据指定的并行度(默认是4)进行分割,如果这个字段不是数字类型需要加上一句话

sqoop  mysql导入hdfs 需要注意的点

3、mysql中null值的处理,如果mysql中是null,在导入到hdfs的时候,sqoop会把null值字段,变成null字符串导入,

这样会有问题,比如我把这些数据再导入到hive,那么hive就会把null字符串,真的导成null字符了,原来mysql的null值列,在hive中 is null 查询就查不到了

sqoop  mysql导入hdfs 需要注意的点

解决方式:文件都是字符串,那么hive会把什么识别为null呢? --------------> '\N' 因此导入hdfs的时候,需要指定一下null值转换策略

sqoop  mysql导入hdfs 需要注意的点

--null-string '\\N'    // 记得转译一下\

--null-non-string '\\N'   加上这两个

标准语法

sqoop  mysql导入hdfs 需要注意的点

上一篇:数仓项目


下一篇:带你读《从零开始学Scrapy网络爬虫》之二:网络爬虫基础