Spark安装教程

一、前期准备

1.Spark各版本下载地址Index of /dist/spark

2.安装Hadoop(伪分布式):hadoop-2.10.1

3.安装JAVA JDK:JAVA JDK1.8

二、安装Spark(Local模式)

1.解压,移动

sudo tar -zxf spark-3.4.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-3.4.0-bin-without-hadoop/ ./spark-3.4.0
sudo chown -R qiangzi:qiangzi ./spark-3.4.0    # 此处的 qiangzi 为你的用户名

2.安装后,还需要修改Spark的配置文件spark-env.sh

cd /usr/local/spark-3.4.0
cp ./conf/spark-env.sh.template ./conf/spark-env.sh

3.编辑spark-env.sh文件(vim ./conf/spark-env.sh),在第一行添加以下配置信息:

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

4.配置完成后就可以直接使用,不需要像Hadoop运行启动命令。通过运行Spark自带的示例,验证Spark是否安装成功。

cd /usr/local/spark-3.4.0
bin/run-example SparkPi

5.执行时会输出非常多的运行信息,输出结果不容易找到,可以通过 grep 命令进行过滤(命令中的 2>&1 可以将所有的信息都输出到 stdout 中,否则由于输出日志的性质,还是会输出到屏幕中):

cd /usr/local/spark-3.4.0
bin/run-example SparkPi 2>&1 | grep "Pi is"

三、使用 Spark Shell 编写代码

1.启动Spark Shell

cd /usr/local/spark-3.4.0
bin/spark-shell

四、问题汇总

1.重复安装不同版本的Spark,进入Spark Shell时显示之前安装的spark版本

2.删除之前安装的Spark的目录,不能打开Spark Shell ,出现报错信息

[qiangzi@master spark-2.4.8]$ bin/spark-shell
bin/spark-shell: line 60: /usr/local/spark-3.5.1/bin/spark-submit: No such file or directory

3.使用 vim ~/.bashrc 打开 .bashrc 文件时没有看到和Spark环境变量相关的内容,但使用echo $PATH,显示环境变量为之前Spark版本的环境变量。

4.进入/usr/local/etc/中修改环境变量,依然出现报错。

解决办法:

卸载安装的Spark,重新安装,注意hadoop和spark的版本匹配

上一篇:如何编写可读性高的嵌入式 C 语言代码?|2024网盘分享6.89G嵌入式-物联网 嵌入式新手C语言必学教程


下一篇:《鸿蒙:开启智能新时代的璀璨之光》