今天在用spark-submit运行hdfs上传的文件的时候报错Failed to get database default, returning NoSuchObjectException,因为其中需要用到hive,但是我的spark里面没有配置hive,所以需要重新给spark配置一下hive
1、把hive配置的hive-site.xml (hive/conf/hive-site.xml)文件拷贝到 spark 目录下即可(spark/conf/hive-site.xml)
2、mysql-connector 的jar包:mysql-connector 这个jar包在 hive 的lib 目录下,spark 存放jia包的路径是在 jars目录下。