出现的问题
? 打包后上传到 spark-submit 提交,报错集群找不到class
寻找原因
-
创建是object文件,main方法可执行,在此确定代码编写没问题,寻找别的原因
-
clean 后重新打包,发现无效
-
更换打包方法
- 一开始是使用的maven中的package打包,然后改成了去 Artifacts中打包,上传后依然找不到,自己去jar包中查找找不到对应类,目标指向配置
-
去看maven配置,最后在pom.xml找到原因,翻看博客发现相比之前少写了一项配置
<executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> <configuration> <args> <arg>-dependencyfile</arg> <arg>${project.build.directory}/.scala_dependencies</arg> </args> </configuration> </execution> </executions>
PS:这是应该放到
scala-maven-plugin
中的
重新package打包上传,sparl-submit运行成功
关于插件
? 去网上查询插件相关内容:scala-maven-plugin
是用来让maven能够编译、测试、运行scala项目的
<goal>compile</goal>编译scala code
<goal>testCompile</goal>编译test code