Spark的单机版便于测试,同时通过SSH用Spark的内置部署脚本搭建Spark集群,使用Mesos、Yarn或者Chef来部署Spark。对于Spark在云环境中的部署,比如在EC2(基本环境和ECMR)上的部署。
注意:EMR(Elastic MapReduce),即弹性MapReduce。 亚马逊弹性MapReduce(Amazon EMR)
1、从Spark源码搭建Spakr环境
2、在云环境搭建搭建Spakr环境
3、通过SSH搭建Spakr环境
如果集群未安装任何集群管理软件,你能用一些方便Spark部署的脚本通过SSH部署Sparl,这种方式在Spark文档中叫“standlone”模式。
4、在YARN上搭建Spakr环境
5、在Mesos上搭建Spakr环境