乱七八糟的BUG

使用sqoop进行抽取的时候 报错信息如下:

Error: java.io.IOException: SQLException in nextKeyValue

 

问题原因:由于mysql的驱动包导致的

解决方案:将sqoop里面的mysql驱动包中的mysql8.0 修改为mysql5.+

2.sqoop在导入mysql数据时出现:Cause: java.sql.SQLException: HOUR_OF_DAY: 2 -> 3 异常;

问题原因是 mysql的时区问题

解决方案:在数据库链接上追加时区配 serverTimezone=Asia/Shanghai,指定东八区

3.hive 在hue使用 CREATE TABLE IF NOT EXISTS daisy_push_test as select * from ods_user_db_j1_doctor_user limit 100 语句创建表报错

Error whil compiling statement:FAILED : SemmanticException 0:0 creating temporary folder on:hdfs://......

 

原因是  当前用户对hive这个数据库没有权限

解决方案:hadoop fs -chmod  -R 777 /user/hive/warehouse/ods.db 对这个数据库进行授权

4.使用sqoop从mysql导入hive的过程中,如果mysql里面的字段类型是tniyint的类型,导入hive中会变成boolea类型

解决方案 在sqoop的脚本中的 jdbc连接加一个参数,tinyInt1isBit=false 可以解决这个问题

5.hue 查询时出现 hue database is locked

这个原因是由于 hue默认的额数据库是sqllit,如果多个查询会导致sqlit 拒绝连接 导致这个错误。

解决办法,将hue的数据库切到mysql

可以在hue 上面直接进行配置,会自动在mysql里面创建表。

 

 

hive字段注解乱码

  https://blog.csdn.net/eason_oracle/article/details/53811954

impala没有数据  确认hive中有数据之后,通过界面刷新impala的元数据

 

安装cdh,hue使用mysql作为数据源,检验用户名密码失败

报错信息如下:

Unexpected error.Unable to verify database connection.

 

查看日志:

 

发现是缺少libmysqlclient.so.18.0.0 包

 

解决方案:

 

将包下载下来,上传到服务器 /usr/lib64/mysql

 

创建一个软连接

上一篇:第八章 Centos下单机部署sqoop-1.99.7


下一篇:Sqoop详细安装与环境配置