hive sql 优化

常规的:

1、过早的过滤字段、只选用需要的列、要加分区

2、join 小表放左边

set hive.exec.reducers.max=200;

set mapred.reduce.tasks= 200;---增大Reduce个数

set hive.groupby.mapaggr.checkinterval=100000 ;

set hive.groupby.skewindata=true; --如果是group by过程出现倾斜 应该设置为true

set hive.skewjoin.key=100000; --这个是join的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置

set hive.optimize.skewjoin=true;--如果是join 过程出现倾斜 应该设置为true
参考:https://blog.csdn.net/weixin_41876523/article/details/84069013

hive sql 优化

上一篇:hustwinter1-B - Intersection


下一篇:基于C#—WPF的扫雷游戏