第八章_函数【UDF 自定义函数】

1. 自定义函数的类型

名称 特点 示例

UDF (User-Defined-Function)

一进一出

示例 : like、rlike、if、upper

UDAF (User-Defined-Aggregation-Function)

聚合函数,多进一出

示例 : max、min、count、arg

UDTF (User-Defined-Table-Generating-Function)

遍历函数,一进多出

示例 : lateral view explode()

2. 编写UDF函数步骤

  1. 构建maven 项目,导入jar 依赖

<dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>3.1.2</version>
        </dependency>
</dependencies>

  2. 构建 UDF类

    1. 继承 GenericUDF类

       UDF继承 : org.apache.hadoop.hive.ql.udf.generic.GenericUDF 

       UDAF继承 : org.apache.hadoop.hive.ql.udf.generic.GenericUDAFResolver

                   UDTF继承 : org.apache.hadoop.hive.ql.udf.generic.GenericUDTF

      2. 实现 抽象方法

      1. initialize (初始化方法) :

        1. 对 函数参数的 个数和数据类型 进行校验

        2. 指定 函数的 返回值类型 

      2. evaluate (求值方法) :  逻辑处理方法

      3. getDisplayString :  函数说明方法

  3. 打包

    Maven Projects -> package

  4. 上传jar

    scp hive-udf-1.0-SNAPSHOT.jar root@gaocun:/root

 

上一篇:PHP 高级编程之多线程(第三版)


下一篇:mac常见快捷操作