CentOS7安装CDH 第十章:CDH中安装Spark2

相关文章链接

CentOS7安装CDH 第一章:CentOS7系统安装

CentOS7安装CDH 第二章:CentOS7各个软件安装和启动

CentOS7安装CDH 第三章:CDH中的问题和解决方法

CentOS7安装CDH 第四章:CDH的版本选择和安装方式

CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0

CentOS7安装CDH 第六章:CDH的管理-CDH5.12

CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置

CentOS7安装CDH 第八章:CDH中对服务和机器的添加与删除操作

CentOS7安装CDH 第九章:CDH中安装Kafka

CentOS7安装CDH 第十章:CDH中安装Spark2

CentOS7安装CDH 第十一章:离线升级CDH版本

CentOS7安装CDH 第十二章:YARN的资源调优

CentOS7安装CDH 第十三章:CDH资源池配置

CentOS7安装CDH 第十四章:CDH的优化

1. CDH官网Spark2的安装教程网址

https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

CentOS7安装CDH 第十章:CDH中安装Spark2

CentOS7安装CDH 第十章:CDH中安装Spark2

2. 下载对应的Spark2版本

1.查看CDH和Spark的对应版本列表(点击上述图片2中的地址即可跳转),在这里选择安装Spark的2.2和cloudera1版本,请注意,当前面选择cloudera1.jar时,后面对应的Parcel包也要选择cloudera1,不然会出错,特别是在版本升级方面,要格外注意,不要后面的Parcel包升级了,前面的cloudera.jar包就没升,会出问题:

查看网址:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_packaging.html#packaging

CentOS7安装CDH 第十章:CDH中安装Spark2

2.下载Spark2对应的Parcel包(以Spark2.2和cloudera1举例):

下载网址:http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/

CentOS7安装CDH 第十章:CDH中安装Spark2

3. 安装Spark2服务到CDH中

1、Spark2服务对其他服务有版本依赖要求:

查看网址:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html#cm_versions

CentOS7安装CDH 第十章:CDH中安装Spark2

CentOS7安装CDH 第十章:CDH中安装Spark2

2、给集群上所有节点的机器安装Scala2.11版本:

a) 执行如下命令,在所有机器上创建目录:

  mkdir -p /opt/software

b) 将scala-2.11.8.tgz包上传到所有机器上:

  CentOS7安装CDH 第十章:CDH中安装Spark2

c) 执行如下命令,解压所有机器上的scala包:

  tar -zxvf scala-2.11.8.tgz

d) 执行如下命令,配置好Scala的环境变量,当能查看到版本时即可:

  echo "export SCALA_HOME=/opt/software/scala-2.11.8" >> /etc/profile

  echo "export PATH=$SCALA_HOME/bin:$PATH" >> /etc/profile

  source /etc/profile

  CentOS7安装CDH 第十章:CDH中安装Spark2

3、将下载好的jar包和Parcel包上传到一台机器上,并配置好https:

CentOS7安装CDH 第十章:CDH中安装Spark2

CentOS7安装CDH 第十章:CDH中安装Spark2

4、使用下载好的jar包,给CDH上添加服务中加入一个添加Spark2的按钮:

a) 将下载好的jar包复制到CDH默认的csd目录下,并赋予好权限:

  CentOS7安装CDH 第十章:CDH中安装Spark2

  CentOS7安装CDH 第十章:CDH中安装Spark2

b) 重启CDH的server服务:service cloudera-scm-server restart

c) 进入到CDH的web界面,刷新界面,重新更新配置文件,重启CMS:

  CentOS7安装CDH 第十章:CDH中安装Spark2

d) 此时点击cluster的添加服务,能看到Spark2的服务了:

  CentOS7安装CDH 第十章:CDH中安装Spark2

5、配置Parcel,将Spark2的离线地址添加到Parcel的URL中:

a) 因为重启CDH的server服务,所以有很多默认的URL,将这些删除:

  CentOS7安装CDH 第十章:CDH中安装Spark2

b) 将Spark2的离线地址添加进入:

  CentOS7安装CDH 第十章:CDH中安装Spark2

6、对Spark2进行下载,分配,解压,激活:

  CentOS7安装CDH 第十章:CDH中安装Spark2

7、安装Spark2服务:

a) 点击cluster的添加服务,添加spark2服务:

  CentOS7安装CDH 第十章:CDH中安装Spark2

b) 因为安装了其他服务,Spark是一个内存计算服务,所以可以依赖其他服务,可以选择多服务的那一组,如下图:

  CentOS7安装CDH 第十章:CDH中安装Spark2

c) 给Spark中的服务选择主机(history选一台,Gateway所有主机都要选):

  CentOS7安装CDH 第十章:CDH中安装Spark2

d) 对Spark2服务进行审核更改,清空配置即可:

  CentOS7安装CDH 第十章:CDH中安装Spark2

e) 对Spark2进行安装:

  CentOS7安装CDH 第十章:CDH中安装Spark2

f) 完成安装:

  CentOS7安装CDH 第十章:CDH中安装Spark2

上一篇:Python2.x与3.x对比


下一篇:Ubuntu14.04下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)(在线或离线)