本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第2章，第2.2节Spark部署，作者于俊　向海　代其锋　马海平，更多章节内容可以访问云栖社区“华章社区”公众号查看

2.2　Spark部署
Spark部署主要包括Local模式部署、Standalone模式部署、YARN模式部署、Mesos模式部署（参考官方文档）。
其中，集群部署模式如下：
独立部署模式：Spark自带的一种简单集群管理器，使用该集群管理器可以轻松地建立一个集群；
Apache Mesos：一个通用的集群管理器，该集群管理器也可以运行MapReduce和服务应用（实际业务没有采取该种架构，本书没有对该模式进行专门讲解，如需要了解，请参考官方文档）；
Hadoop YARN：Hadoop 2中的资源管理器，是当前主要使用的资源管理器。
除此之外，Spark的EC2启动脚本使得在Amazon EC2上启动一个独立模式集群变得容易。
2.2.1　Local模式部署
Local（本地）模式下部署Spark应用程序比较简单，可以用于检测Spark是否编译安装成功，需要配置Java环境变量和设置主节点。
主节点设置步骤如下：
1）进入Spark主程序的conf目录，执行：cd spark-1.5.0/conf。
2）以spark-env.sh.template文件为模板创建spark-env.sh文件。
3）修改spark-env.sh配置文件：

vi spark-env.sh
export SPARK_MASTER_IP=$YOUR_MASTER_IP
export JAVA_HOME=$YOUR_JAVA_HOME

4）版本验证，在安装完毕Spark并配置环境变量之后，在任意目录下运行spark-shell命令即可进入Spark命令行模式，此时出现的大段文字中会提示当前的Spark版本，例如：

Welcome to Spark version 1.5.0
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_45)

2.2.2　Standalone模式部署
部署Standalone模式Spark集群步骤如下：
1）修改spark-env.sh配置文件（参考本地部署模式）。

vim spark-env.sh
export SPARK_MASTER_IP=$YOUR_MASTER_IP
export JAVA_HOME=$YOUR_JAVA_HOME
2）在Spark目录下创建一个名为conf/slaves的文件。该文件需要包含所有将要启动Spark Workers的机器的hostname（主机名），每行一个。
vim slaves
# A Spark Worker will be started on each of the machines listed below.
slave01
slave02
slave03
slave04
……
3）发送配置文件spark-env.sh和Slaves到所有Worker节点，以slave02为例：
scp -r $SPARK_HOME/conf/spark-env.sh slave02:/$SPARK_HOME/conf/
scp -r $SPARK_HOME/slavesslave02:/$SPARK_HOME/conf/
4）配置Master无密钥登录Slaves节点。
①?在Master节点和所有Slaves节点上安装openssh-server（以Ubuntu 12.04为例）：
sudo apt-get install openssh-server
②?建立SSH KEY：
ssh-keygen -t rsa -P ""
③?在Master节点上启用SSH KEY（authorized_keys权限644）：
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
sudo /etc/init.d/ssh reload
④?验证SSH的配置：
ssh localhost
⑤?将Master节点的authorized_keys发送到所有的Slaves节点，并登录验证。
部署完毕，可以通过手动启动和脚本启动集群的Master和Worker。下面详细介绍一下Spark Standalone模式集群的启动以及启动参数的功能。
1.?手动启动集群
通过执行下面的命令启动Master节点：
./sbin/start-master.sh

启动之后，命令行会打印出一个spark://HOST:PORT，你可以通过该信息将Worker与Master连接，或以“master”参数的形式传递给SparkContext对象。你也可以在Master的WebUI中找到这个URL，默认访问地址是http://localhost:8080。
支持启动一个或更多的Worker，然后通过下面的指令与Master连接：
./bin/spark-class org.apache.spark.deploy.worker.Worker park:// IP:PORT
一旦启动了一个Worker节点，在Master的WebUI中（默认http://localhost:8080），你会看到新增Worker节点，以及CPU数目、内存大小（减去1GB留给系统）在列表中呈现。
2.?脚本启动集群
检查Spark目录下的conf/slaves文件是否创建，是否包含了所有工作节点机器的hostname，一旦建立了这个文件，就可以通过下面的shell脚本在Master节点上启动或终止你的集群。

sbin/start-master.sh：在脚本运行的机器上启动一个Master实例。
sbin/start-slaves.sh：在conf/slaves文件中指定的机器上启动一个Slaves实例。
sbin/start-all.sh：以上面所述的方式启动一个Master和一定数量的Slaves。
sbin/stop-master.sh：停止当前通过bin/start-master.sh脚本启动的Master实例。
sbin/stop-slaves.sh：停止在conf/salves文件中指定的机器上所有的Slaves实例。
sbin/stop-all.sh：停止当前启动的Master实例和指定的Slaves实例。

执行cd /spark-1.5.0/sbin命令进入sbin文件夹，执行./start-all.sh可以启动所有服务器上的Spark相关进程。
执行jps命令可以查看当前服务器正在运行的进程。如果是主节点，可以看到Master进程；如果是子节点，可以看到Worker进程。这样就表示Spark在服务器上全部配置完毕。
可以通过设置spark-env.sh中的环境变量进一步配置集群，并复制到所有的Worker机器上以使设置生效，表2-2为可配置的spark-env.sh中的环境变量。

2.2.3　YARN模式部署
下面来具体讲解如何基于YARN配置Spark程序。
（1）准备工作
配置Spark之前，需要做一些准备工作。
首先，检查hosts文件，即使用root账户登录服务器之后，在任意目录下执行vim /etc/hosts命令，查看需要部署Spark的“服务器IP机器名”是否已存在，没有请添加。
其次，添加配置文件，同样是在任意目录下执行vim /etc/prof?ile，打开环境变量配置文件，将SPARK_HOME配置到环境变量中，具体如下所示。

export SPARK_HOME=/home/hadoop/spark-1.5.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

然后，在任意目录下执行source /etc/prof?ile命令让环境变量生效。
（2）Spark本身的配置
接下来就是针对Spark本身的配置。
首先，进入Spark中的conf文件夹，即在Spark所在目录执行cd/spark-1.5.0/conf命令。打开spark-env.sh文件，即vim spark-env.sh，添加：

export JAVA_HOME=$YOUR_JAVA_HOME
export SPARK_MASTER_IP=$YOUR_MASTER_IP
通过这一项配置，可以确定执行Spark程序时的主节点。
接下来，打开Slaves文件，将子节点的IP地址或名称添加到该文件中，完成Spark的IP和机器名对应的配置。
vim slaves
# A Spark Worker will be started on each of the machines listed below.
slave01
slave02
slave03
slave04
……

最后，需要将spark-1.5.0文件夹、环境变量配置文件和hosts文件批量发送到配置的各个子节点的服务器上，再批量执行source /etc/prof?ile命令即可。
按照先启动Hadoop，再启动Spark的顺序进行启动。