今天同事在服务区上面装的是最新版本的hadoop3.10和spark2.3.1,因为用scala开发,
所以我想用sbt进行开发。过程中遇到各种坑,刚开始用的jdk10,结果也报错,后来改成jdk1.8.
又报了新的错误。开始用的是scala2.12.6
如果不要使用spark的纯scala项目则不报错,但只要是spark的包引用则报错,则统统报错。
Caused by: java.lang.ClassNotFoundException: scala.Product$class
后来修改build.sbt成下面的格式
name := "sbttest" version := "0.1" scalaVersion := "2.11.12" libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.3.1" libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.3.1"
重点在
scalaVersion := "2.11.12"的版本号2.11要和要和spark-core_后面的数字2.11要相同。这样就不报错了
结果如下