大数据Hive框架——自定义函数

2024-04-12 17:16:38

hive中的自定义函数类型

UDF（User-defined function）

一对一：传递一个参数，然后返回一个值

UDAT (Aggregate Functions)

多对一：传递多个参数，返回一个参数 max

通常group by连用

UDTF（Table-Generating Functions ）

一对多：传入1个值，返回多个值：较为复杂

实现自定义函数——UDF

编码要求

（1）继承于UDF类

（2）方法规定

a、Implement one or more methods named evaluate：必须实现evaluate方法

b、evaluate should never be a void method.：返回值类型不能为空

c、方法的参数和返回值的类型：Java类型或者Hadoop类型。

推荐使用Hadoop类型，这样在hive中执行自定义函数时，就不需要对数据类型进行转换

速度可以更快

具体实现：案例，去除字符串两端的双引号

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

//继承UDF类，实现evaluate方法
public class MyIpToolsUDF extends UDF {
    public Text evaluate(Text text){
		//转换为字符串类型
        String value = text.toString();
		//判断字符串是否为空
        if(StringUtils.isBlank(value)){
            return new Text("null");
        }
		//返回处理过后的字符串
       return  new Text(value.replace("\"" ,"")+",");
    }
}

打包测试

a）打成Jar包 mvn package

b)将Jar包添加到ClassPath下面

 hive(db_hive)>add jar /opt/cdh5.7.6/hive-1.1.0-cdh5.7.6/hadoop-1.0-SNAPSHOT.jar

c）创建函数

hive (db_hive)> CREATE FUNCTION removeQuato as 'com.my_hive_function.MyIpToolsUDF';

`d）测试`

hive (db_hive)> select removeQuato(ip) AS ip
              > FROM access_log LIMIT 5 ;

e）删除自定义函数

hive (db_hive)> DROP FUNCTION removeQuato;

码农公寓