032 Spark容错特性

1.spark容错主要分为两个方面

  其一是集群

  再者为spark的应用程序。

  032 Spark容错特性

2.Driver

  032 Spark容错特性

  032 Spark容错特性

  重要补充:  

    driver宕机:
      Spark On Yarn:总之,要重启
        client:只能重启job
        cluster:类似于MR的ApplicationMaster
      Spark On Standalone:不太一样
        client:只能重启
        cluster:如果没给下面的参数,就需要重启
          --supervise:当driver执行失败的时候,会自动重启

3.Executor

  032 Spark容错特性

  032 Spark容错特性

4.Task

  032 Spark容错特性

5.在程序中应用(local模式)

  032 Spark容错特性

  

上一篇:MyBatis 插入时返回刚插入记录的主键值


下一篇:Mybatis源码解析,一步一步从浅入深(七):执行查询