对于调优和排错来说,查看一个RDD有多少个partition是非常有用的。常用的查看方法有如下几种:
1、通过SparkUI查看Task执行的partition数
当一个stage执行时,能通过SparkUI界面查看到指定stage的partiton数目
val someRDD = sc.parallelize(1 to 100, 4)
someRDD.map(x => x).collect
2、通过SparkUI查看cache过的partition数
当persist或者cache一个RDD后,知道有多少个partition被缓存了是很有用的。
someRDD.setName("toy").cache
someRDD.map(x => x).collect
3、通过代码角度透视RDD的parition数
在Scala API中,RDD持有一个partition数组的引用,通过该引用我们可以得知partition数
scala> val someRDD = sc.parallelize(1 to 100, 30)
someRDD: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[30] at parallelize at <console>:12 scala> someRDD.partitions.size
res15: Int = 30