HIVE调优之MapJoin

  • 如果不指定MapJoin或者不符合MapJoin的条件,那么Hive解析器会将Join操作转换成Common Join,即:在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join,避免reducer处理 

  • 开启MapJoin参数设置

    • 设置自动选择Mapjoin( 默认为false):set hive.auto.convert.join = true;

    • 大表小表的阈值设置(默认25M一下认为是小表):set hive.mapjoin.smalltable.filesize=25000000;

    •  

   
上一篇:mysql-34讲到底可不可以使用join


下一篇:ZOOM join meeting提示密码错误