002 Spark的编译

一:不编译

1.不编译的做法

  在公司里可能需要编译,但是如果为了简单的学习就不必编译,直接在官方下载即可。

  截图为:

  002 Spark的编译

二:编译\

1.下载

  http://archive.cloudera.com/cdh5/cdh/5/

  http://archive.apache.org/dist/

2.环境要求

  002 Spark的编译

3.官方要求位置

  002 Spark的编译

  002 Spark的编译

4.检测环境

  002 Spark的编译

5.解压resposity(需要的包)

  002 Spark的编译

6.解压spark

   tar -xvf spark-1.6.1.taz -C /etc/opt/modules/

  002 Spark的编译

7.修改make-distribution.sh文件

  我想,应该是替换掉上面的变量

  002 Spark的编译

8.修改pom.xml(共两处scala.version)

  002 Spark的编译

9.放置依赖服务,先上传

  如果不给,则需要在网上自己下载,时间太久。

  002 Spark的编译

10.将依赖的压缩包解压到spark下的build下

  tar -zxvf zinc-0.3.5.3.tgz -C /etc/opt/modules/spark-1.6.1/build

  tar -zxvf scala-2.10.4.tgz -C /etc/opt/modules/spark-1.6.1/build

  002 Spark的编译

11.CDH编译以及apache编译(选择一种)

  002 Spark的编译

  在这里使用apache编译

  ./make-distribution.sh --tgz \

  -Phadoop-2.4 \
  -Dhadoop.version=2.5.0 \
  -Pyarn \
  -Phive -Phive-thriftserver

  解释:

  tgz:打包压缩

  -P:环境变量

  002 Spark的编译

  002 Spark的编译

12.编译的结果

  002 Spark的编译

13.编译好的jar包

  002 Spark的编译

三:结束

1.到此为止,打包压缩已经完成,就意味着编译已经成功。

 

  

  

上一篇:LinkedHashMap:我还能实现LRU


下一篇:BZOJ3759: Hungergame