Apache Spark的部署环境的小记

Spark的单机版便于测试,同时通过SSH用Spark的内置部署脚本搭建Spark集群,使用Mesos、Yarn或者Chef来部署Spark。对于Spark在云环境中的部署,比如在EC2(基本环境和ECMR)上的部署。

注意:EMR(Elastic MapReduce),即弹性MapReduce。  亚马逊弹性MapReduce(Amazon EMR)

1、从Spark源码搭建Spakr环境

2、在云环境搭建搭建Spakr环境

3、通过SSH搭建Spakr环境

  如果集群未安装任何集群管理软件,你能用一些方便Spark部署的脚本通过SSH部署Sparl,这种方式在Spark文档中叫“standlone”模式。

4、在YARN上搭建Spakr环境

5、在Mesos上搭建Spakr环境

上一篇:创建smartfroms页格式


下一篇:summernote 富文本编辑器限制输入字符长度