cdh5.15集群添加spark2.3服务(parcels安装)

背景:

机器系统:redhat7.3;已经配置了http服务

集群在安装的时候没有启动spark服务,因为cdh5.15自带的spark不是2.0,所以直接进行spark2.3的安装

参考文档:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

一、下载:(注意版本对应)

1.准备csd文件

路径http://archive.cloudera.com/spark2/csd/

cdh5.15集群添加spark2.3服务(parcels安装)

2.准备parcels文件

路径http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/

cdh5.15集群添加spark2.3服务(parcels安装)

二、准备:

3.将csd文件放在 分发目录中(默认/opt/cloudera/csd目录),修改权限

sudo chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar

sudo chmod 644 SPARK2_ON_YARN-2.1.0.cloudera1.jar

注:要保证集群的本地描述符存储库路径是/opt/cloudera/csd 
查看方式:CM主界面管理–>设置–>类别(本地描述符存储库路径)

4.将parcel文件放置在/var/www/html/spark2/parcels/目录下,且保证http能够访问(因为我这里的/var/www/html目录存储不够了,所以我做了软连接)

5.重启cm server

service cloudera-scm-server restart

三、安装parcels 
1、主机–>parcels–>配置–>填写url–>检查新的parcel 
2、下载–>分配—>激活

四、添加服务 
1、点击集群按钮旁的添加服务 
2、选择spark2 –>继续 
3、选择依赖 
4、角色分配(Gateway所有主机都要安装) 
5、启动

五、安装jdk1.8和scalar

上一篇:SQL Server创建复合索引时,复合索引列顺序对查询的性能影响


下一篇:javaweb学习总结四(反射技术)