1.Hive 的udf使用需用需要的依赖
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>xxxx</groupId> <artifactId>xxxx</artifactId> <version>1.0-SNAPSHOT</version> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <java.version>1.8</java.version> <scala.binary.version>2.11</scala.binary.version> <maven.compiler.source>${java.version}</maven.compiler.source> <maven.compiler.target>${java.version}</maven.compiler.target> </properties> <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.7</version> </dependency> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1</version> </dependency> </dependencies> </project>
2.Hive的udf是干什么的?
如:你在hadoop的hive中执行了一个 hql 语句 select itcastfun('ABC') from dual;
会报编译错误,因为hive中没有 itcastfun函数,这个函数是我们自定义的
3.如何使用udf?
1)使用idea编辑器编写java代码
1 package agg.hive.udf; 2 3 import org.apache.hadoop.hive.ql.exec.UDF; 4 5 public class ItcastFunc extends UDF{ 6 /*继承了 UDF 需要重载 evaluate 这个函数*/ 7 public String evaluate(String input){ 8 if(input==null){ 9 return null; 10 } 11 return input.toLowerCase(); 12 } 13 14 public int evaluate(int a , int b){ 15 return a + b; 16 } 17 }
2)编写完成之后,通过maven的打包工具 package打成jar包的形式,完事把jar包复制出来,编辑器暂时就没用了
3)把jar包上传到 hive 的服务器上,此时就不能使用hive的远程连接上传了,必须用hive的服务器端上传(因为udf函数操作已经涉及到了hive的核心内部的改变了)
(上传jar包:直接拖动jar到hadoop服务器,我的hive是在主节点上;
我这里上传了两个jar包,因为我打包的时候生成了两个,我也不知道是哪个,所以直接全部上传进行试验)
4)jar上传到hive的服务器之后,直接使用hive的如下命令,将jar包添加到hive的classpath:
1 hive>add jar /home/badou/HadoopTest-1.0-SNAPSHOT.jar;
5)jar添加hive完成之后,需要创建一个function 函数
(下面的语句中 temporary 关键字表示创建的临时函数,即结束了hive的进程再重新进入之后该函数就消失了,这样一来也证明了该函数谁创建谁负责,谁使用谁维护的原则,大家互不影响)
路径为java类的路径(在java类名上双击选中->右键-> Copy Reference即可得到路径)
1 hive> create temporary function itcastfun as 'agg.hive.udf.ItcastFunc';
执行完成之后会直接提示 OK
6)此时我们就可以直接使用我们自定义的函数了,函数名如上定义的 itcastfun ;
因为我们的自定义函数中有两个重载的方法,这里我们写两个 sql 语句进行测试:
1 select itcastfun('ABC') from dual; 2 select itcastfun(2,3) from dual; 3 或者 4 select itcastfun('ABC') ; 5 select itcastfun(2,3) ;
返回结果如下:
转载:https://www.cnblogs.com/singleYao/p/13764780.html