Spark-submit报错:Failed to get database default, returning NoSuchObjectException

今天在用spark-submit运行hdfs上传的文件的时候报错Failed to get database default, returning NoSuchObjectException,因为其中需要用到hive,但是我的spark里面没有配置hive,所以需要重新给spark配置一下hive

1、把hive配置的hive-site.xml (hive/conf/hive-site.xml)文件拷贝到 spark 目录下即可(spark/conf/hive-site.xml)

2、mysql-connector 的jar包:mysql-connector 这个jar包在 hive 的lib 目录下,spark 存放jia包的路径是在 jars目录下。

上一篇:js实现图片的懒加载


下一篇:记一次用WPScan辅助***WordPress站点