一、内置函数的使用
查看当前hive版本支持的所有内置函数
show function;查看某个函数的使用方法及作用,比如查看upper函数
desc function upper;查看upper函数更为详细的信息
desc function extended upper;转换为小写: lower()
查询emp表中员工姓名,员工姓名小写显示
select empno, ename, lower(ename) from emp;字符串连接: concat()
查询emp表,将员工姓名追加到员工编号后
select empno, ename, concat(empno, ename) from emp;
二、自定义函数
UDF分为三种,分别如下
- UDF(User-Defined_Function),一进一出(输入一行,输出一行),比如: upper(),lower()等
- UDAF(User-Defined Aggregation Funcation),多进一出(输入多行,输出一行),比如: avg(),sum()等.
- UDTF(User-Defined Table-Generating Functions),一进多出(输入一行,输出多行),比如: collect_set(), collect_list()等.ABSOLUTE
使用自定义函数需要引入hive-exec的依赖
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>2.3.0</version>
</dependency>
自定义UDF函数
UDF编程模型:
(1) 继承 org.apache.hadoop.hive.ql.exec.UDF
(2) 实现 evaluate() 方法
实现需求: 自定义UDF函数,给指定的字符串前加上字符串hello
比如: 输入 Tom, 输出 helle:Tom
自定义函数有4种使用方式,the following:
-
方式一(临时函数,只能在当前客户端使用)
将我们刚编写完成的代码,打成jar maven下 clean package将jar包上传到hive
add jar /home/hadoop/libs.hive-1.0-SNAPSHOT.jar;创建函数
create temporary function say_hello as 'com.bigdata.hadoop.hive.GenericUDFHello';查看创建的函数say_hello
show functions;查看函数say_hello的详细信息
desc function extended say_hello;使用函数
select ename,say_hello(ename) from emp; -
方式二(临时函数,只能在当前客户端使用)
在$HIVE_HOME下新建目录auxlib,将jar拷贝到该目录下,重启hadoop
cp /home/hadoop/libs/hive-1.0-SNAPSHOT.jar创建函数say_hello2
create temporary function say_hello2 as 'com.bigdata.hadoop.hive.GenericUDFHello';函数的查看与使用同方式一
-
方式三(永久函数,创建后可以在任意客户端使用,建议使用)
上传jar到hdfs
hadoop fs -put hive-1.0-SNAPSHOT.jar /libs创建函数say_hello3
create function say_hello3 as 'com.bigdata.hadoop.hive.GenericUDFHello' using jar 'hdfs://hdpcomprs:9000/libs/hive-1.0-SNAPSHOT.jar';注意: 创建完function之后,通过show functions并没有看到我们自定义的函数say_hello3,但是可以使用
使用函数,效果同上 方法四(永久函数,将自定义函数集成到hive源码中)
使用这种方式需要修改hive的源代码,集成到hive源码后,hive启动后就可以使用,不用再向hive中注册函数,相当于一个hive的内置函数。如果公司有自己的大数据框架版本,建议使用这种方式。