《Spark大数据分析实战》——2.4节配置Spark源码阅读环境

本节书摘来自华章社区《Spark大数据分析实战》一书中的第2章,第2.4节配置Spark源码阅读环境,作者高彦杰 倪亚宇,更多章节内容可以访问云栖社区“华章社区”公众号查看

2.4 配置Spark源码阅读环境
由于Spark使用SBT作为项目管理构建工具,SBT的配置文件中配置了依赖的jar包网络路径,在编译或者生成指定类型项目时需要从网络下载jar包。需要用户预先安装git。在Linux操作系统或者Windows操作系统上(用户可以下载Git Shell,在Git Shell中进行命令行操作)通过“sbt/sbt gen-idea”命令,生成Intellij项目文件,然后在Intellij IDE中直接通过“Open Project”打开项目。
克隆Spark源码:

git clone https:// github.com/apache/spark。

在所需要的软件安装好后在spark源代码根目录下,输入以下命令生成Intellij项目:

sbt/sbt gen-idea

这样SBT会自动下载依赖包和进行源文件编译以及生成Intellij所需要的项目文件。

上一篇:《CCNA学习指南:Cisco网络设备互连(ICND1)(第4版)》——1.6节用户应用程序对网络的影响


下一篇:MVC架构探究及其源码实现(2)-核心组件定义