Hive UDF 用户自定义函数 编程及使用

首先创建工程编写UDF 代码,示例如下:

1、 新建Maven项目 udf

本机Hadoop版本为2.7.7, Hive版本为1.2.2,所以选择对应版本的jar ,其它版本也不影响编译。

2、 pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion>
<groupId>com.hive</groupId>
<artifactId>udf</artifactId>
<version>1.0.0</version> <dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.7</version>
</dependency> <dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.2.2</version>
</dependency> </dependencies> <build>
<finalName>${project.artifactId}</finalName>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.8.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
<encoding>UTF-8</encoding>
</configuration>
</plugin>
</plugins>
</build>
</project>

3、 DateFormatConvert.java

package com.hive.udf;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date; import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text; /**
* Hive 日期格式转换函数
*
* @author Logan
* @createDate 2019-04-30
* @version 1.0.0
*
*/
public class DateFormatConvert extends UDF { /**
* 日期格式转换函数
*
* @param text 输入日期文本
* @param srcFormat 源格式
* @param destFormat 目标格式
* @return
* @throws ParseException
*/
public Text evaluate(Text text, Text srcFormat, Text destFormat) throws ParseException {
if (null == text || null == srcFormat || null == destFormat) {
return text;
} SimpleDateFormat srcDateFormat = new SimpleDateFormat(srcFormat.toString());
SimpleDateFormat destDateFormat = new SimpleDateFormat(destFormat.toString()); Date date = srcDateFormat.parse(text.toString());
String destDateString = destDateFormat.format(date); return new Text(destDateString);
} }

4、 打包上传到 /root/files/udf.jar

5、添加 用户自定义函数

add jar /root/files/udf.jar;
create temporary function udf_date_format_convert as 'com.hive.udf.DateFormatConvert';

6、 使用

select udf_date_format_convert(log_time, 'yyyyMMddHHmmss', 'yyyy-MM-dd HH:mm:ss') from tb_logs;

表 tb_logs 数据如下:

log_time
20190529072650
20190529072730
20190529072812

使用UDF 函数输出结果如下:

2019-05-29 07:26:50
2019-05-29 07:27:30
2019-05-29 07:28:12

Hive UDF 用户自定义函数 编程及使用

.

上一篇:vue环境搭建及创建项目


下一篇:JQuery判断checkbox选中,jquery获取选中的checkbox