用over进行开窗 distribute by sort by和partition by order by 用于去重哪个效率比较高?

1.用over开窗时,distribute by sort by换成partition by order by,分区表、分桶表、非分区表的执行计划都一样,1.10版本都是一样的--测试后时间上基本无差别
2.对分桶表进行测试,如果分桶的字段和distribute by sort by或者partition by order by是同一字段的话,分桶表的性能比较非分桶表好:这个比较好理解,本来分桶后数据就是局部有序的
3.单独使用order只产生一个reducer(全局排序),sort(局部排序)产生多个reducer;
4.distribute by col – 按照col列把数据分散到不同的reduce,
group by把相同key的数据聚集到一起,后续必须是聚合操作,partition by 是分区
5.distribute by sort by 等同于cluster by ;

用over进行开窗 distribute by sort by和partition by order by 用于去重哪个效率比较高?

上一篇:StarUML画类图


下一篇:image组件动画问题