为什么要自定义函数
hive的内置函数无法满足实际开发环境的所有情况,这个时候需要我们根据业务自定义函数来解决问题。
hive提供了很多模块的自定义功能,如:serde、自定义函数、输入输出格式化等
常见的自定义函数
UDF:User Define Function.一对一的输入输出,非常使用。
UDAF:User Define Agregation Function.用户的自定义聚合函数。多对一的输入输出
UDTF:User Define Table‐Generate Function.用户自定的表生成函数。
如何编写UDF
1. 继承UDF类,自定义evaluate(),允许重载。
2. 继承GenericUDF,重写initlizer、getdisplay、evaluate方法
案例
自定义函数,根据出生日期求年龄
导入依赖
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>2.1.1</version>
</dependency>
编码实现
// 继承UDF类
public class MyUDF extends UDF {
// 实现evaluate方法
public int evaluate(String birth) {
String[] info = birth.split("-");
int birth_year = Integer.parseInt(info[0]);
int birth_month = Integer.parseInt(info[1]);
int birth_day = Integer.parseInt(info[2]);
Calendar now = Calendar.getInstance();
int now_year = now.get(Calendar.YEAR);
int now_month = now.get(Calendar.MONTH);
int now_day = now.get(Calendar.DAY_OF_MONTH);
int age = now_year - birth_year;
if (birth_month < now_month) {
age -= 1;
} else if (birth_day < now_day) {
age -= 1;
}
return age;
}
}
将项目打成jar包
上传到HDFS上
hdfs dfs -put birth_age.jar /jar/birth_age.jar
在Hive中添加jar并创建函数
CREATE FUNCTION `hive`.`birth_age` AS 'com.qf.udf.MyUDF' USING JAR 'hdfs://192.168.10.101//jar/birth_age.jar';
案例演示
hive> select birth_age(1997-01-01);