Spark任务报错Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.max...

spark任务提交后信息报错:
Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.maxResultSize (1024M)
解决办法:
在代码中加设置或者在提交命令的时候加设置

  • 方法一


    Spark任务报错Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.max...
  • 方法二
    提交命令的时候加上
    --conf spark.driver.maxResultSize=2048M
上一篇:密码学系列之:memory-bound函数


下一篇:Ajax传递复杂参数到服务器端的方法