单机版安装,只需要jdk和spark, 不需要hadoop。
1. 安装JDK
2. 安装spark
2.1. 下载
下载地址见 大数据组件下载地址
2.2. 解压
tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz
mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1
2.3. 配置环境变量
进入/etc/profile目录下:vim /etc/profile
#Spark
export SPARK_HOME=/opt/spark-2.3.1
export PATH=$PATH:$SPARK_HOME/bin
2.4. 修改配置文件
进入spark的conf目录下:cd /opt/spark-2.3.1/conf/,
copy一份spark-env.sh:
cp spark-env.sh.template spark-env.sh
然后进入vim编辑模式:
vim spark-env.sh
添加如下配置
export JAVA_HOME=/usr/local/java-1.8.0——391 #这里是你jdk的安装路径
export SPARK_HOME=/opt/spark-2.3.1
export SPARK_MASTER_IP=XXX.XX.XX.XXX #将这里的xxx改为自己的Linux的ip地址
2.5. 修改slaves
copy一份slaves:cp slaves.template slaves
vi slaves
在最后面加上
localhost
3. 启动spark
进入spark的sbin目录:cd sbin/
启动spark ./start-all.sh