安装指南:
http://dblab.xmu.edu.cn/blog/804-2/
火狐浏览器官网下载spark
会遇到问题:
安全连接失败
连接 www.apache.org 时发生错误。
无法安全地与对端通信:没有双方共用的加密算法。
(错误码: ssl_error_no_cypher_overlap)
解决方法:可以下载镜像文件来解决
spark镜像下载地址,下载spark2.4.3-binhadoop2.7.tgz
http://mirror.bit.edu.cn/apache/spark/spark-2.4.3/
常用命令
cd /usr/local/spark #确定主目录
bin/spark-shell #启动spark-shell
:quit #退出spark-shell
./bin/spark-submit #进入spark-submit
(使用 Scala 编写的程序需要使用 sbt 进行编译打包,
相应的,Java 程序使用 Maven 编译打包,
而 Python 程序通过 spark-submit 直接提交。)