林子雨-5.2 键值对RDD

目录

 

1、创建键值对RDD

从文件加载

通过并行集合创建

2、常用的键值对RDD转换操作(reduceByKey和groupByKey)

3、keys,values.sortByKey,mapValues,join

4、综合实例

 

1、创建键值对RDD

从文件加载

林子雨-5.2 键值对RDD

林子雨-5.2 键值对RDD

通过并行集合创建

林子雨-5.2 键值对RDD

林子雨-5.2 键值对RDD

2、常用的键值对RDD转换操作(reduceByKey和groupByKey)

林子雨-5.2 键值对RDD

groupByKey的valueList以Iterable的形式保存(放在Iterable容器中)

林子雨-5.2 键值对RDD

用groupByKey和reduceByKey完成词频统计

林子雨-5.2 键值对RDD

3、keys,values.sortByKey,mapValues,join

keys:把key取出形成新的RDD

values:与keys同理

sortByKey():默认按Key升序排序(false为降序)

sortBy():.sortBy(_._2,false)按值降序排序

林子雨-5.2 键值对RDD

mapValues(fanc)

只对value进行操作

join

林子雨-5.2 键值对RDD

4、综合实例

林子雨-5.2 键值对RDD

林子雨-5.2 键值对RDD

林子雨-5.2 键值对RDD

林子雨-5.2 键值对RDD

林子雨-5.2 键值对RDD

林子雨-5.2 键值对RDD

 

上一篇:Spark union


下一篇:groupbyKey和reducebyKey的区别