089、Spark-RDD-检查点

所谓的检查点其实就是通过将RDD中间结果写入磁盘
由于血缘依赖过长会造成容错成本过高,这样就不如在中间阶段做检查点容错,如果检查点之后有节点出现问题,可以从检查点开始重做血缘,减少了开销。
对RDD进行checkpoint操作并不会马上被执行,必须执行Action操作才能触发。
089、Spark-RDD-检查点
缓存和检查点区别
089、Spark-RDD-检查点

上一篇:Linux系统启动文件系统损坏修复实例


下一篇:centos重启出现type Control-D to continue【fsck使用】