1.参考。
利用IDEA工具编译Spark源码(1.60~2.20)
https://blog.csdn.net/He11o_Liu/article/details/78739699
Maven编译打包spark(2.1.0)源码及出现问题的解决方案(win7+Intellij IDEA)
https://blog.csdn.net/u011464774/article/details/76704785
通过maven将spark源码导入idea
https://blog.csdn.net/pcno1/article/details/53433740
使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码(博主强烈推荐)
https://www.cnblogs.com/zlslch/p/5881893.html
利用IDEA查看和修改spark源码
https://blog.csdn.net/fishseeker/article/details/63741265
Spark源码之路(一):Windows下用IDEA搭建源码阅读环境
spark source code下载:(我选择版本的是spark-2.2.0)
https://github.com/apache/spark/tree/v2.2.0
2.在使用sbt/maven用idea导入源码之前,先是在命令行build spark,但是构建失败。
a.Build Spark 的详细步骤参见构建Spark(中文)
http://spark.apachecn.org/docs/cn/2.2.0/building-spark.html#apache-maven
b.将MAVEN_OPTS设定为环境变量,win7下创建一个用户变量:
变量名是MAVEN_OPTS 值为 -Xmx2g (or more)
c.在spark源码解压后的根目录D:\IdeaProject\spark-2.2.0下执行:
mvn -DskipTests clean package
报错:
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.8:
run (default) on project spark-core_2.11: An Ant BuildException has occured: Exe
cute failed: java.io.IOException: Cannot run program "bash" (in directory "D:\Id
eaProject\spark-2.2.0\core"): CreateProcess error=2, 系统找不到指定的文件。
[ERROR] around Ant part ...<exec executable="bash">... @ 4:27 in D:\IdeaProject\
解决:安装Windows Subsystem for Linux ,简单说就是可以在WINDOWS上执行Bash命令。
至少需要win10系统。我的是win7解决不了。
3.决定直接使用idea的open object打开源码压缩包,直接编译。