Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

创建一个Scala IDEA工程:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

点击“Next”:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

点击“Finish”完成工程的创建:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

修改项目的属性:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01


首先修改Modules选项:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01


在src下创建两个文件夹,并把其属性改为source:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

再修改Libraries:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

因为要开发Spark程序,所以需要把Spark的开发需要的jar包导进来:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01


导入包完成后,在工程的scala下面创建一个package:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01


创建一个Object对象:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

完成初始类的创建:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01


首先构建Spark Driver的模板代码:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

该程序是对前面的搜狗日志的处理代码,只不过这个时候在IDEA中编写而已。

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

上一篇:sql server利用不同语种语言显示报错错误消息的方法示例


下一篇:Oracle GoldenGate 12.3.0.1.4 in Oracle 12.2 之02准备(GoldenGate 安装)