spark任务提交后信息报错:
Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.maxResultSize (1024M)
解决办法:
在代码中加设置或者在提交命令的时候加设置
-
方法一
- 方法二
提交命令的时候加上
--conf spark.driver.maxResultSize=2048M
2024-01-22 21:58:40
spark任务提交后信息报错:
Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.maxResultSize (1024M)
解决办法:
在代码中加设置或者在提交命令的时候加设置
方法一