MaxCompute UDF为数据开发人员提供了较SQL更加灵活的数据处理方式,使得在数据处理过程中,不再只是局限在SQL提供的能力,可以根据自己的需求对功能进行定制,也可以引入其他优秀的程序包简化开发的难度和工作量。有的时候一个UDF因为经过多轮迭代和长时间积累,可能功能会变的非常丰富同时又非常的复杂,常常需要利用配置进行控制,本文对几种通用的配置方案进行了汇总,供各位参考。
一、函数参数方式
执行示例:
select udf1(param1, param2) from dual;
select udf1(param1,map("k","v")) from dual;
实现代码
public class udf1 extends UDF {
public String evaluate(String a) {
return "default value:" + a;
}
public String evaluate(String a, String b) {
return "new value:" + a + "," + b;
}
public String evaluate(String a, String b, String c) {
return "new value:" + a + "," + b + "," + c;
}
public String evaluate(String a, Integer b,List<String> c) {
return "new value:" + c.get(b);
}
public String evaluate(String a,Map<String,String> map) {
return "new value" + map.get(a);
}
public String evaluate(String a,Struct struct) {
return "new value" + struct.getFieldValue(a);
}
}
特殊说明:
1,在本例最后一个实现中的Struct类型,为com.aliyun.odps.data.Struct
2,更多复杂参数类型,可以参考https://yq.aliyun.com/articles/225026
二、执行参数方式
注册函数
create function udf2 as com.aliyun.udf. udf2 using "udf-1.0-SNAPSHOT.jar";
执行示例
set myconfig.config.a=hello;
set myconfig.config.other=2;
select udf2(param1) from dual;
实现代码
public class udf2 extends UDF {
// TODO define parameters and return type, e.g: public String evaluate(String a, String b)
private String flags;
public void setup(ExecutionContext ctx) throws UDFException {
Properties ps= ctx.getConfigurations();
flags = ps.getProperty("myconfig.config.a");
/*
说明,目前ctx.getConfigurations();仅能kv返回,不能支持便利操作,所以如下代码并不能返回全部变量
System.out.println("keys count : "+ps.size());
Set<Map.Entry<Object, Object>> ent = ps.entrySet() ;
Iterator<Map.Entry<Object, Object>> it = ent.iterator();
while(((Iterator) it).hasNext()) {
Map.Entry<Object,Object> kv = it.next();
System.out.println("key : "+kv.getKey() + " value : " + kv.getValue());
}
*/
}
public String evaluate(String s) {
if (flags == null) {
return "default value:" + s;
} else {
return "new value:" + flags + s;
}
}
}
特殊说明:
1,set 的kv对在getProperty的时候以“等号”区分,所以内容中不能再包含等号
2,set 设置的变量会在当前session中一直保留,设置一次后续的多个sql都能读取到,要注意范围
三、配置文件方式
注册函数
add file ./cfg.txt;
create function udf3 as com.aliyun.udf.udf3 using "udf-1.0-SNAPSHOT.jar, cfg.txt";
执行示例
select udf3(param1) from dual;
实现代码
public class udf3 extends UDF {
private String flags;
public void setup(ExecutionContext ctx) throws UDFException {
try {
InputStream in = ctx.readResourceFileAsStream("cfg.txt");
BufferedReader br = new BufferedReader(new InputStreamReader(in));
flags = br.readLine();
}catch (IOException e) {
System.out.println("read error, "+e.toString());
throw new UDFException(e);
}
}
public String evaluate(String s) {
if (flags == null) {
return "default value:"+ s;
}
else{
return "new value:" + flags + s;
}
}
}
特殊说明:
1,要使用resource配置文件,必须要在注册函数的时候using相应的resource,才能被UDF发现
2,除了使用resource文件外,其实还可以使用odps table,与本例相似,所以不再说明
3,函数注册完成后,对resource配置文件进行跟新覆盖,即可更新配置
以上三种方式基本上可以覆盖绝大多数情况,除此之外还可以组合使用,例如:某个功能复杂的特征工程的UDF,通过第一种和第二种方式,都需要在执行的时候配置多个参数,那么不如把他写成resource配置文件,同时组内开发人员众多,每个人都想使用自己的配置文件,另外又想根据情况随时做变量的微调;那么就可以将如上三种方案融合,变成一种综合方案,示例如下:
注册函数:
add file usr1.txt;
add file usr2.txt;
add file usr3.txt;
add file usr4.txt;
create function udf4 as com.aliyun.udf.udf4 using "udf-1.0-SNAPSHOT.jar, usr1.txt,usr2.txt, usr3.txt,usr4.txt";
执行示例
select udf4(param1, map()) from dual; -- 默认分支
set myconfig.config.file=usr3.txt;
select udf4(param1,map()) from dual; --有配置文件的分支
set myconfig.config.file=usr3.txt;
select udf4(param1, map("k","v")) from dual; --有配置文件,但是通过函数参数调整配置的分支
实现代码
public class udf4 extends UDF {
private String flags;
public void setup(ExecutionContext ctx) throws UDFException {
try {
Properties ps= ctx.getConfigurations();
String path = ps.getProperty("myconfig.config.file");
if (path == null || path.length() <= 0) return ;
InputStream in = ctx.readResourceFileAsStream(path);
BufferedReader br = new BufferedReader(new InputStreamReader(in));
flags = br.readLine();
}catch (IOException e) {
System.out.println("read error, "+e.toString());
throw new UDFException(e);
}
}
public String evaluate(String s, Map<String,String> mflags) {
if (mflags.size() > 0) {
return "new value 1:" + s;
}
if (flags == null) {
return "default value:"+ s;
}
else{
return "new value 2:" + flags + s;
}
}
}
特殊说明
1,在注册函数的时候,必须将所有可能用到的配置文件都注册,不然函数无法注册成功
除了普通的UDF外,UDAF、UDTF可用同样的方法进行配置。Python UDF的处理方式可参见:https://help.aliyun.com/document_detail/73359.html?spm=a1z2e.8101737.webpage.dtitle2.bb2a6a6c6Di3vt