reduceByKey和groupByKey的区别
1. reduceByKey:按照key进行聚合,在shuffle之前有combine(预聚合)操作,返回结果是RDD[k,v].
2. groupByKey:按照key进行分组,直接进行shuffle。
3. 开发指导:reduceByKey比groupByKey,建议使用。但是需要注意是否会影响业务逻辑。
2023-11-07 13:23:58
1. reduceByKey:按照key进行聚合,在shuffle之前有combine(预聚合)操作,返回结果是RDD[k,v].
2. groupByKey:按照key进行分组,直接进行shuffle。
3. 开发指导:reduceByKey比groupByKey,建议使用。但是需要注意是否会影响业务逻辑。