HIVE 在执行大量数据JOIN的时候,容易产生内存不足的情况

情况

很多时间遇到 "Caused by: java.lang.OutOfMemoryError: Java heap space"

Caused by: java.lang.OutOfMemoryError: Java heap space

可能会有下面错误 "Reducer tasks of hive job fails with Out Of Memory error during shuffle fetcher stage"

解决办法:

  • 增加hive.tez.container.size .
  • tez.runtime.shuffle.memory.limit.percent 改小一点

可选

  • 减少tez.runtime.shuffle.fetch.buffer.percent 默认是0.25 , 尽管为0.15 if needed. (这个值要在区别 0.25 , 0.10)
上一篇:WPF之数据绑定Data Binding


下一篇:4538: [Hnoi2016]网络