ubuntu 14.04下spark简易安装

java安装

首先需要上oracle的网站下载

ubuntu 14.04下spark简易安装

在lib目录下建立一个jvm文件夹

  1. sudo mkdir /usr/lib/jvm

然后解压文件到这个文件夹

  1. sudo tar zxvf jdk-8u40-linux-i586.tar.gz -C /usr/lib/jvm

进入解压文件夹

  1. cd /usr/lib/jvm

然后为了方便改个名字
sudo mv jdk1.8.0_40 java

打开配置文件

  1. sudo gedit ~/.bashrc

加入以下设置

  1. export JAVA_HOME=/usr/lib/jvm/java
  2. export JRE_HOME=${JAVA_HOME}/jre  
  3.     export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
  4.     export PATH=${JAVA_HOME}/bin:$PATH

使之生效:

  1. source ~/.bashrc

完成

ubuntu 14.04下spark简易安装

安装spark

下载prebuild的spark安装包

ubuntu 14.04下spark简易安装

解压

  1. tar -xzf spark-1.2.0-bin-hadoop2.4.tgz

然后其实这个时候spark的python模式就可以使用了。只要cd进去运行bin目录下的pyspark就可以了。但是我们下面要做的就是链接和选择一个好些的位置存放文件

链接

先把文件岁半换个地方放

  1. sudo mv spark-1.2.1-bin-hadoop2.4 /srv/

然后设个链接

  1. sudo ln -s /srv/spark-1.2.1-bin-hadoop2.4/ /srv/spark

再修改下~/.bash_profile就可以了

  1. export SPARK_HOME=/srv/spark
  2. export PATH=$SPARK_HOME/bin:$PATH

完成

命令行直接执行pyspark
ubuntu 14.04下spark简易安装

上一篇:寒假学习计划(c++作业2)


下一篇:(转)Spring Boot(十二):Spring Boot 如何测试打包部署