Spark安装配置问题以及常用命令教程

安装指南:

http://dblab.xmu.edu.cn/blog/804-2/

火狐浏览器官网下载spark
会遇到问题:

安全连接失败
连接 www.apache.org 时发生错误。 
无法安全地与对端通信:没有双方共用的加密算法。 
(错误码: ssl_error_no_cypher_overlap)

解决方法:可以下载镜像文件来解决

spark镜像下载地址,下载spark2.4.3-binhadoop2.7.tgz
http://mirror.bit.edu.cn/apache/spark/spark-2.4.3/

常用命令

cd /usr/local/spark  #确定主目录
bin/spark-shell  #启动spark-shell
:quit            #退出spark-shell
./bin/spark-submit #进入spark-submit
(使用 Scala 编写的程序需要使用 sbt 进行编译打包,
相应的,Java 程序使用 Maven 编译打包,
而 Python 程序通过 spark-submit 直接提交。)

上一篇:Spring Cloud Alibaba学习笔记(1) - 整合Spring Cloud Alibaba


下一篇:7.4 gcd