Value类型-groupBy()分组
1、groupBy()算子函数签名:
def groupBy(f : T =>K]) : RDD[K, Iterable[T]]
2、算子·功能:
1、将原来RDD中的元素按照groupBy中的函数f的执行结果进行分组
2、结果相同的元素进入同一个迭代器
3、groupBy算子存在shuffle
4、shuffle会落盘,元素会在不同分区中乱窜
3、例子1:将偶数、奇数分别分组
1. package com.zhaoxuan.scalatest
2.
3.import org.apache.spark.rdd.RDD
4.import org.apache.spark.{SparkConf, SparkContext}
5.
6./**
7. * 3、例子1:将偶数、奇数分别分组
8. * */
9.object GroupByTest1 {
10. def main(args: Array[String]): Unit = {
11. val conf : SparkConf = new SparkConf().setAppName("groupBy-Test1").setMaster("local[*]")
12. val sc : SparkContext = new SparkContext(conf)
13. val num : RDD[Int] = sc.makeRDD(1 to 10,2)
14. val group : RDD[(Int,Iterable[Int])] = num.groupBy(num => num % 2)
15. group.collect.foreach(println)
16. }
17.}
例子2:将字符串首字母相同的分一组
package com.zhaoxuan.scalatest
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
/**
* 例子2:将字符串首字母相同的分一组
* */
object GroupByTest2 {
def main(args: Array[String]): Unit = {
val conf : SparkConf= new SparkConf().setAppName("groupBy-Test2").setMaster("local[*]")
val sc : SparkContext = new SparkContext(conf)
val strRDD : RDD[String] = sc.makeRDD(List("zx","zk","home","spark"))
val group : RDD[(Char,Iterable[String])]= strRDD.groupBy(str => str.charAt(0))
//简写
val group1 : RDD[(Char,Iterable[String])]= strRDD.groupBy(_.charAt(0))
group.collect.foreach(println)
}
}