reduceByKey和groupByKey的区别

reduceByKey和groupByKey的区别

    1. reduceByKey:按照key进行聚合,在shuffle之前有combine(预聚合)操作,返回结果是RDD[k,v].

    2. groupByKey:按照key进行分组,直接进行shuffle。

    3. 开发指导:reduceByKey比groupByKey,建议使用。但是需要注意是否会影响业务逻辑。

上一篇:Spark Scala当中reduceByKey的用法


下一篇:Spark_8 Spark常用算子对比