一:不编译
1.不编译的做法
在公司里可能需要编译,但是如果为了简单的学习就不必编译,直接在官方下载即可。
截图为:
二:编译\
1.下载
http://archive.cloudera.com/cdh5/cdh/5/
http://archive.apache.org/dist/
2.环境要求
3.官方要求位置
4.检测环境
5.解压resposity(需要的包)
6.解压spark
tar -xvf spark-1.6.1.taz -C /etc/opt/modules/
7.修改make-distribution.sh文件
我想,应该是替换掉上面的变量
8.修改pom.xml(共两处scala.version)
9.放置依赖服务,先上传
如果不给,则需要在网上自己下载,时间太久。
10.将依赖的压缩包解压到spark下的build下
tar -zxvf zinc-0.3.5.3.tgz -C /etc/opt/modules/spark-1.6.1/build
tar -zxvf scala-2.10.4.tgz -C /etc/opt/modules/spark-1.6.1/build
11.CDH编译以及apache编译(选择一种)
在这里使用apache编译
./make-distribution.sh --tgz \
-Phadoop-2.4 \
-Dhadoop.version=2.5.0 \
-Pyarn \
-Phive -Phive-thriftserver
解释:
tgz:打包压缩
-P:环境变量
12.编译的结果
13.编译好的jar包
三:结束
1.到此为止,打包压缩已经完成,就意味着编译已经成功。