spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

下载

http://spark.apache.org/downloads.html

下载2.3.1

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

https://blog.csdn.net/qq_15349687/article/details/82748074(齐全)

配置文件

https://www.cnblogs.com/purstar/p/6293605.html

https://www.cnblogs.com/swordfall/p/7903678.html(配置明了)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

把上面相对应的路径和名字改为自己的即可,

配置环境变量bin和sbin

cp slaves.properties slaves

slaves里

node1

node2

cp spark-env.sh.properties spark-env.sh

hadoop_conf_dir=/home/hadoop/hadoop_home/etc/hadoop

上面不详细,详细如下

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

报错

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

检查得知端口有误

(因本人在配置时直接把spark-default.xml文件里的内容取消注释,而忘记修改,不是master:9000)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

spark安装配置(scala不是必须的,基于java虚拟机,因此scala可以不配,但是开发需要可以配)

上一篇:cut 命令详解


下一篇:基础总结之Activity