1、spark standalone模式下,worker与executor是一一对应的。
2、如果想要多个worker,那么需要修改spark-env的SPARK_WORKER_INSTANCES为2,那么开启集群后, 每个节点就是两个worker了,然后启动任务后,每个节点就是两个executor啦
3、提高每个executor配置(即内核和内存)后,会增加集群的处理性能。 嗯,反正测试的结果就是这样的。 (同样的数据量同样的结点,然后executor的配置不同)
2024-01-01 20:44:04
1、spark standalone模式下,worker与executor是一一对应的。
2、如果想要多个worker,那么需要修改spark-env的SPARK_WORKER_INSTANCES为2,那么开启集群后, 每个节点就是两个worker了,然后启动任务后,每个节点就是两个executor啦
3、提高每个executor配置(即内核和内存)后,会增加集群的处理性能。 嗯,反正测试的结果就是这样的。 (同样的数据量同样的结点,然后executor的配置不同)