idea下spark连接hive

2024-04-10 19:26:54

spark连接hive步骤

将core-site.xml、hdfs-site.xml 、hive-site.xml放到配置文件夹下
设置hadoop用户名

    System.setProperty("HADOOP_USER_NAME","hadoop");

开启spark对hive的支持

val spark: SparkSession = SparkSession.builder()
      .appName(s"${this.getClass.getSimpleName}")
      //开启hive支持
      .enableHiveSupport()
      .master("local[*]")
      .getOrCreate()