-
背景
当我在使用IDEA本地连接服务器spark服务时,虽然拷贝了hive-site.xml,提供了相应的依赖,仍然报错:org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism
依赖如下:<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.1.2</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>3.1.2</version> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.25</version> </dependency> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>3.1.2</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifactId> <version>3.1.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-auth</artifactId> <version>3.2.0</version> </dependency> </dependencies>
-
分析
在远程访问hadoop时,需要提供认证信息https://hadoop.apache.org/docs/stable/hadoop-auth/Examples.html
https://blog.csdn.net/csr_hema/article/details/8147590 -
措施
在Maven添加如下依赖:<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-auth</artifactId> <version>3.2.0</version> </dependency>
相关文章
- 05-17sparksql系列(五) SparkSql异常处理,优化,及查看执行计划
- 05-17SparkSQL 运行异常:org/codehaus/janino/InternalCompilerException
- 05-17Juc17_ThreadLocal概述、解决SimpleDateFormat出现的异常、内存泄漏、弱引用、remove方法(四)
- 05-17SparkSQL 运行异常:org/codehaus/janino/InternalCompilerException 执行SparkSQL时出现异常:
- 05-172017年5月17日20:14:29 rabbitmq 消费 异常信息无法处理 导致轮询
- 05-17Java 基础【17】 异常与自定义异常
- 05-17ASM:《X86汇编语言-从实模式到保护模式》第17章:保护模式下中断和异常的处理与抢占式多任务
- 05-1717、【SparkSQL】org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism异常
- 05-1710-17C#语句(3)--跳转语句、异常处理语句
- 05-17Oracle 学习笔记 17 -- 异常处理(PL/SQL)