踩坑 scala 打包上传 找不到类

出现的问题

? 打包后上传到 spark-submit 提交,报错集群找不到class

寻找原因

  1. 创建是object文件,main方法可执行,在此确定代码编写没问题,寻找别的原因

  2. clean 后重新打包,发现无效

  3. 更换打包方法

    • 一开始是使用的maven中的package打包,然后改成了去 Artifacts中打包,上传后依然找不到,自己去jar包中查找找不到对应类,目标指向配置
  4. 去看maven配置,最后在pom.xml找到原因,翻看博客发现相比之前少写了一项配置

    <executions>
    	<execution>
    		<goals>
    			<goal>compile</goal>
    			<goal>testCompile</goal>
    		</goals>
    		<configuration>
            	<args>
            		<arg>-dependencyfile</arg>
    				<arg>${project.build.directory}/.scala_dependencies</arg>
            	</args>
            </configuration>
    	</execution>
    </executions>
    

    PS:这是应该放到 scala-maven-plugin 中的

重新package打包上传,sparl-submit运行成功

关于插件

? 去网上查询插件相关内容:scala-maven-plugin是用来让maven能够编译、测试、运行scala项目的

<goal>compile</goal>编译scala code
<goal>testCompile</goal>编译test code

踩坑 scala 打包上传 找不到类

上一篇:MySQL的SQL语句 - 数据操作语句(3)- DO 语句


下一篇:Oracle开启远程访问