20-Hive常见报错处理

2023-10-14 16:19:46

Hive 运行过程异常信息有时不能完全显示在终端上，此时可以用 Hive Debug 模式进行调试

hive --hiveconf hive.root.logger=INFO,console

1、表不存在

FAILED: SemanticException [Error 10001]: Line 101:19 Table not found ODS_CDR_PSTN_D
报错分析：Table not found 很明显表 ODS_CDR_PSTN_D 不存在
解决办法：
可以先去检查下对应 ODS 库下是否存在该表，若不存在，则迁移该表，若存在，
那很可能就是过程脚本中未在表名前加上库名

2、通用报错

FAILED: Execution Error, return code 2 from
org.apache.hadoop.hive.ql.exec.mr.MapRedTase

类似于一句总结的话，基本大多数报错都会用该句收尾，所以这个报错信息不能帮忙解决问题，需要查看日志。
日志存放目录：除 stage 外其它所有库下都有自己过程上一次执行的具体日志信息。

3、本地模式报错

报错分析：本地模式的内存无法满足当前任务的需求

解决办法：关闭本地模式

过程语句前加上：

set hive.auto.convert.join=false;

是否根据输入小表的大小，自动将 Reduce 端的 Common Join 转化为 Map Join，

从而加快大表关联小表的 Join 速度。

4、内存溢出报错

Container
[pid=17441,containerID=container_1446899682569_0355_01_000019] is
running beyond physical memory limits. Current usage: 4.0 GB of 4 GB
physical memory used; 4.8 GB of 4.2 GB virtual memory used. Killing
container

报错分析：container 执行需要的内存超出了物理内存限制

解决办法：给它更大的内存

过程语句前加上：默认

set mapreduce.map.memory.mb=8192;

map container 内存分配

set mapreduce.reduce.memory.mb=8192;

reduce container 内存分配

5、Group by 后面有两个相同字段报错

FAILED: ClassCastException org.apache.hadoop.hive.serde2.typeinfo.P
rimitiveTypeInfo cannot be cast to org.apache.hadoop.hive.serde2
.typeinfo.DecimalTypeInfo ---出现字段类型转换。
查看有 sql 语句中 group by 后面是否有 2 个同名的字段

6、NoViableAltException(-1@[])报错

NoViableAltException(-1@[])
    at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectClause(HiveParser_SelectClauseParser.java:1087)
    at org.apache.hadoop.hive.ql.parse.HiveParser.selectClause(HiveParser.java:45827)
    at org.apache.hadoop.hive.ql.parse.HiveParser.selectStatement(HiveParser.java:41495)
    at org.apache.hadoop.hive.ql.parse.HiveParser.regularBody(HiveParser.java:41402)
    at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatementExpressionBody(HiveParser.java:40413)
    at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatementExpression(HiveParser.java:40283)
    at org.apache.hadoop.hive.ql.parse.HiveParser.execStatement(HiveParser.java:1590)
    at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:1109)
    at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:202)
    at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:166)
    at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:396)
    at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:308)
    at org.apache.hadoop.hive.ql.Driver.compileInternal(Driver.java:1122)
    at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1170)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1059)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1049)
    at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:213)
    at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:165)
    at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:376)
    at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:736)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
FAILED: ParseException line 1:14 cannot recognize input near '<EOF>' '
<EOF>' '<EOF>' in select clause

报错分析：NoViableAltException(-1@[])表示语法问题

检查对应 sql 段是否有语法错误，常见错误为中文注释引起或者注释中存在分号”；”

7、kryo 报错

Caused by: org.apache.hive.com.esotericsoftware.kryo.KryoException:Encountered unregistered class ID: 590

报错分析:过程执行时启动的 job 数目过多导致

解决办法：重新执行过程

码农公寓