idea下spark连接hive

spark连接hive步骤

  1. 将core-site.xml、hdfs-site.xml 、hive-site.xml放到配置文件夹下
  2. 设置hadoop用户名
    System.setProperty("HADOOP_USER_NAME","hadoop");
  1. 开启spark对hive的支持
val spark: SparkSession = SparkSession.builder()
      .appName(s"${this.getClass.getSimpleName}")
      //开启hive支持
      .enableHiveSupport()
      .master("local[*]")
      .getOrCreate()
上一篇:SparkOnHive


下一篇:Spark Conf配置用法