Spark-submit模式yarn-cluster和yarn-client的区别

1.yarn-client用于测试,因为ta的Driver运行在本地客户端,会与yarn集群产生较大的网络通信,从而导致网卡流量激增;它的好处在于直接执行时,在本地可以查看到所有的log,方便调试;
2.yarn-cluster用于生产环境,因为Driver运行在NodeManager,相当于一个ApplicationMaster,没有网卡流量激增的问题;缺点在于调试不方便,本地用spark-submit提交后,看不到log,只能通过yarn application_id这种命令来查看,很麻烦;


————————————————
版权声明:本文为CSDN博主「kongshuchen」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/kongshuchen/article/details/52014297

上一篇:java基础知识回顾之---java String final类普通方法的应用之字符串数组排序


下一篇:渗透测试--实验三