目录
2、常用的键值对RDD转换操作(reduceByKey和groupByKey)
3、keys,values.sortByKey,mapValues,join
1、创建键值对RDD
从文件加载
通过并行集合创建
2、常用的键值对RDD转换操作(reduceByKey和groupByKey)
groupByKey的valueList以Iterable的形式保存(放在Iterable容器中)
用groupByKey和reduceByKey完成词频统计
3、keys,values.sortByKey,mapValues,join
keys:把key取出形成新的RDD
values:与keys同理
sortByKey():默认按Key升序排序(false为降序)
sortBy():.sortBy(_._2,false)按值降序排序
mapValues(fanc)
只对value进行操作
join
4、综合实例