Hive内置函数和自定义函数的使用

一、内置函数的使用

  • 查看当前hive版本支持的所有内置函数
    show function;

  • 查看某个函数的使用方法及作用,比如查看upper函数
    desc function upper;

  • 查看upper函数更为详细的信息
    desc function extended upper;

  • 转换为小写: lower()
    查询emp表中员工姓名,员工姓名小写显示
    select empno, ename, lower(ename) from emp;

  • 字符串连接: concat()
    查询emp表,将员工姓名追加到员工编号后
    select empno, ename, concat(empno, ename) from emp;



二、自定义函数

UDF分为三种,分别如下

  1. UDF(User-Defined_Function),一进一出(输入一行,输出一行),比如: upper(),lower()等
  2. UDAF(User-Defined Aggregation Funcation),多进一出(输入多行,输出一行),比如: avg(),sum()等.
  3. UDTF(User-Defined Table-Generating Functions),一进多出(输入一行,输出多行),比如: collect_set(), collect_list()等.ABSOLUTE

使用自定义函数需要引入hive-exec的依赖

<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>2.3.0</version>
</dependency>
自定义UDF函数

UDF编程模型:
(1) 继承 org.apache.hadoop.hive.ql.exec.UDF
(2) 实现 evaluate() 方法

实现需求: 自定义UDF函数,给指定的字符串前加上字符串hello
比如: 输入 Tom, 输出 helle:Tom

自定义函数有4种使用方式,the following:

  • 方式一(临时函数,只能在当前客户端使用)
    将我们刚编写完成的代码,打成jar maven下 clean package

    将jar包上传到hive
    add jar /home/hadoop/libs.hive-1.0-SNAPSHOT.jar;

    创建函数
    create temporary function say_hello as 'com.bigdata.hadoop.hive.GenericUDFHello';

    查看创建的函数say_hello
    show functions;

    查看函数say_hello的详细信息
    desc function extended say_hello;

    使用函数
    select ename,say_hello(ename) from emp;

  • 方式二(临时函数,只能在当前客户端使用)
    在$HIVE_HOME下新建目录auxlib,将jar拷贝到该目录下,重启hadoop
    cp /home/hadoop/libs/hive-1.0-SNAPSHOT.jar

    创建函数say_hello2
    create temporary function say_hello2 as 'com.bigdata.hadoop.hive.GenericUDFHello';

    函数的查看与使用同方式一

  • 方式三(永久函数,创建后可以在任意客户端使用,建议使用)
    上传jar到hdfs
    hadoop fs -put hive-1.0-SNAPSHOT.jar /libs

    创建函数say_hello3
    create function say_hello3 as 'com.bigdata.hadoop.hive.GenericUDFHello' using jar 'hdfs://hdpcomprs:9000/libs/hive-1.0-SNAPSHOT.jar';

    注意: 创建完function之后,通过show functions并没有看到我们自定义的函数say_hello3,但是可以使用
    使用函数,效果同上

  • 方法四(永久函数,将自定义函数集成到hive源码中)
    使用这种方式需要修改hive的源代码,集成到hive源码后,hive启动后就可以使用,不用再向hive中注册函数,相当于一个hive的内置函数。如果公司有自己的大数据框架版本,建议使用这种方式。

上一篇:Sliverlight之 矢量绘图


下一篇:python 线程(thread)