关于spark standalone模式下的executor问题

1、spark standalone模式下,worker与executor是一一对应的。

2、如果想要多个worker,那么需要修改spark-env的SPARK_WORKER_INSTANCES为2,那么开启集群后, 每个节点就是两个worker了,然后启动任务后,每个节点就是两个executor啦

3、提高每个executor配置(即内核和内存)后,会增加集群的处理性能。  嗯,反正测试的结果就是这样的。  (同样的数据量同样的结点,然后executor的配置不同)

上一篇:poj 3177 Redundant Paths【求最少添加多少条边可以使图变成双连通图】【缩点后求入度为1的点个数】


下一篇:LRU Cache实现