rdd依赖关系

（1）RDD 血缘关系

val fileRDD: RDD[String] = sc.textFile("input/1.txt") println(fileRDD.toDebugString) println("----------------------") val wordRDD: RDD[String] = fileRDD.flatMap(_.split(" ")) println(wordRDD.toDebugString) println("----------------------") val mapRDD: RDD[(String, Int)] = wordRDD.map((_,1)) println(mapRDD.toDebugString) println("----------------------") val resultRDD: RDD[(String, Int)] = mapRDD.reduceByKey(_+_) println(resultRDD.toDebugString) resultRDD.collect() （2）RDD 依赖关系
val sc: SparkContext = new SparkContext(conf) val fileRDD: RDD[String] = sc.textFile("input/1.txt") println(fileRDD.dependencies) println("----------------------") val wordRDD: RDD[String] = fileRDD.flatMap(_.split(" ")) println(wordRDD.dependencies) println("----------------------") val mapRDD: RDD[(String, Int)] = wordRDD.map((_,1)) println(mapRDD.dependencies) println("----------------------") val resultRDD: RDD[(String, Int)] = mapRDD.reduceByKey(_+_) println(resultRDD.dependencies) resultRDD.collect() （3）rdd依赖关系分为窄依赖和宽依赖
窄依赖：一个RDD 的 Partition 被另一个RDD 的一个 Partition 使用 宽依赖：一个RDD 的 Partition 被另一个RDD 的多个 Partition 使用