学习用Eclipse+Maven来构建并打包一个简单的单词统计的例程。
本项目源码已托管于Github –>【Spark-wordcount】
第一步 在EclipseIDE中安装Scala插件
在Eclipse中安装Scala插件
第二步 创建Scala Project
创建Scala 项目
第三步 给Scala项目注入maven依赖
将Scala 项目 转为 Maven 项目
pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.elon33.scala</groupId>
<artifactId>WordCount</artifactId>
<version>0.0.1-SNAPSHOT</version> <dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.1</version>
<scope>provided</scope>
</dependency>
</dependencies> <build>
<sourceDirectory>src</sourceDirectory>
<plugins>
<plugin>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.5.1</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin> <plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.3.1</version>
</plugin>
</plugins>
</build>
</project>
第四步 设置Scala Compiler 以及修改Scala Libarary Container版本
当设置完pom.xml，我们可以看到有一些错误出些，主要错误来源于编译器交叉编译，Scala源码包版本不对引起的。
在这个项目中，从pom.xml中可以观察到spark版本是spark-core_2.11，因此Maven Dependencies中已经集成了Scala2.11，因此可以通过指定编译器版本和源码包版本解决Errors。
第五步 Maven 编译打包
通过对项目进行 Maven Install 可以得到可运行的jar包
编译好的jar包中包含的class文件
第六步 Spark 集群上运行
将jar包发送到Spark集群上运行
spark-submit --class com.elon33.wordcount WordCount-0.0.1-SNAPSHOT.jar ../opt/modules/spark-2.2.1-bin-hadoop2.7/README.md ./wordcounts
第七步 计数结果
单词程序的统计结果
[elon@hadoop scala]$ cd wordcounts/
[elon@hadoop wordcounts]$ ls
part-00000 _SUCCESS
[elon@hadoop wordcounts]$ cat part-00000
(package,1)
(For,3)
(Programs,1)
(processing.,1)
(Because,1)
(The,1)
(page](http://spark.apache.org/documentation.html).,1)
......
参考资料：
[1].Using Scala IDE on Maven projects http://scala-ide.org/docs/tutorials/m2eclipse/
---------------------
作者：longshilin.com
来源：CSDN
原文：https://blog.csdn.net/coder__cs/article/details/79047053
版权声明：本文为博主原创文章，转载请附上博文链接！