大三寒假学习 spark学习 spark集群环境搭建

配置环境变量:

  在master节点的终端中执行:vim ~/.bashrc

  添加如下配置:export SPARK_HOME=/opt/module/spark-3.1.2 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

  运行source命令使配置立即生效:source ~/.bashrc

  大三寒假学习 spark学习 spark集群环境搭建

配置workers文件:

  编辑workers文件将localhost替换为节点主机名,一个主机名占一行

  大三寒假学习 spark学习 spark集群环境搭建

 

配置spark-env.sh文件:

   添加如下内容:

  大三寒假学习 spark学习 spark集群环境搭建

  最后一个为master的ip,前两个要替换为你自己的本地路径

分发spark文件到各个节点:

  利用了之前写好的脚本xsync分发,https://www.bilibili.com/video/BV1Qp4y1n7EN?p=28里面有脚本的编写详情

  大三寒假学习 spark学习 spark集群环境搭建

  大三寒假学习 spark学习 spark集群环境搭建

 

上一篇:javascript表单的Ajax 提交插件的使用


下一篇:struts2原理理解