配置Spark

参考《深入理解Spark:核心思想与源码分析》

  Spark使用Scala进行编写,而Scala又是基于JVM运行,所以需要先安装JDK,这个不再赘述。

1.安装Scala

  安装获取Scala:

 wget http://download.typesafe.com/scala/2.11.5/scala-2.11.5.tgz

  将下载的文件移动到自家想要放置的目录。

  修改压缩文件的权限为755(所有者读写执行,同组成员读和执行,其他成员读和执行)

chmod 755 scala-2.11.5.tgz

  解压缩:

tar -xzvf scala-2.11.5.tgz

  打开/etc/profile,添加scala的环境变量

vim /etc/profile

  配置Spark

  查看scala是否安装成功:

scala

  配置Spark

2.安装完scala后,就要安装spark了

  只接从网站上下载了spark安装包:

  http://spark.apache.org/downloads.html

  将安装包移动到自己指定的位置,解压缩。

  配置环境变量:

  vim /etc/profile

  添加spark环境变量

  配置Spark

  使环境变量生效:

  source /etc/profile

  进入spark的conf文件目录,

  cd /home/hadoop/spark/spark-2.1.0-bin-hadoop2.7/conf
  cp spark-env.sh.template spark-env.sh

  在spark-env.sh目录中添加java hadoop scala的环境变量

  配置Spark

  启动spark:

  cd /home/hadoop/spark/spark-2.1.0-bin-hadoop2.7/sbin
  ./start-all.sh

  打开浏览器,输入http://localhost:8080

  配置Spark

   可见Spark已经运行了。

http://blog.csdn.net/wuliu_forever/article/details/52605198这个博客写的很好

上一篇:instanceof 关键字的作用


下一篇:点击更多button显示更多数据的功能实现思路代码