MaxCompute UDF配置汇总

MaxCompute UDF为数据开发人员提供了较SQL更加灵活的数据处理方式,使得在数据处理过程中,不再只是局限在SQL提供的能力,可以根据自己的需求对功能进行定制,也可以引入其他优秀的程序包简化开发的难度和工作量。有的时候一个UDF因为经过多轮迭代和长时间积累,可能功能会变的非常丰富同时又非常的复杂,常常需要利用配置进行控制,本文对几种通用的配置方案进行了汇总,供各位参考。


一、函数参数方式

执行示例:

select  udf1(param1, param2) from dual;
select udf1(param1,map("k","v")) from dual;

实现代码

public class udf1 extends UDF {

    public String evaluate(String a) {
        return "default value:" + a;
    }

    public String evaluate(String a, String b) {
        return "new value:" + a + "," + b;
    }

    public String evaluate(String a, String b, String c) {
        return "new value:" + a + "," + b + "," + c;
    }

    public String evaluate(String a, Integer b,List<String> c) {
        return "new value:" + c.get(b);
    }
    
    public String evaluate(String a,Map<String,String> map) {
        return "new value" + map.get(a);
    }
    
    public String evaluate(String a,Struct struct) {   
        return "new value" + struct.getFieldValue(a);
    }
}

特殊说明:
1,在本例最后一个实现中的Struct类型,为com.aliyun.odps.data.Struct
2,更多复杂参数类型,可以参考https://yq.aliyun.com/articles/225026


二、执行参数方式

注册函数

create function udf2 as com.aliyun.udf. udf2 using "udf-1.0-SNAPSHOT.jar";

执行示例

set myconfig.config.a=hello;
set myconfig.config.other=2;
select udf2(param1) from dual;

实现代码

public class udf2 extends UDF {
    // TODO define parameters and return type, e.g:  public String evaluate(String a, String b)
    private String flags;
    public void setup(ExecutionContext ctx) throws UDFException {

        Properties ps= ctx.getConfigurations();
        flags = ps.getProperty("myconfig.config.a");
        
       /* 
       说明,目前ctx.getConfigurations();仅能kv返回,不能支持便利操作,所以如下代码并不能返回全部变量
       System.out.println("keys count : "+ps.size());

        Set<Map.Entry<Object, Object>> ent = ps.entrySet() ;
        Iterator<Map.Entry<Object, Object>> it = ent.iterator();
        while(((Iterator) it).hasNext()) {
            Map.Entry<Object,Object> kv = it.next();
            System.out.println("key : "+kv.getKey() + " value : " + kv.getValue());
        }
        */
    }
    public String evaluate(String s) {
        if (flags == null) {
            return "default value:" + s;
        } else {
            return "new value:" + flags + s;
        }
    }
}

特殊说明:
1,set 的kv对在getProperty的时候以“等号”区分,所以内容中不能再包含等号
2,set 设置的变量会在当前session中一直保留,设置一次后续的多个sql都能读取到,要注意范围


三、配置文件方式

注册函数

add file ./cfg.txt;
create function udf3 as com.aliyun.udf.udf3 using "udf-1.0-SNAPSHOT.jar, cfg.txt";

执行示例

select udf3(param1) from dual;

实现代码

 public class udf3 extends UDF {
 private String flags;
 public void setup(ExecutionContext ctx) throws UDFException {
     try {
         InputStream in = ctx.readResourceFileAsStream("cfg.txt");
         BufferedReader br = new BufferedReader(new InputStreamReader(in));
         flags = br.readLine();
     }catch (IOException e) {
         System.out.println("read error, "+e.toString());
         throw new UDFException(e);
     }

 }

 public String evaluate(String s) {
     if (flags == null) {
         return "default value:"+ s;
     }
     else{
         return "new value:" + flags + s;
     }
 }
}

特殊说明:
1,要使用resource配置文件,必须要在注册函数的时候using相应的resource,才能被UDF发现
2,除了使用resource文件外,其实还可以使用odps table,与本例相似,所以不再说明
3,函数注册完成后,对resource配置文件进行跟新覆盖,即可更新配置


以上三种方式基本上可以覆盖绝大多数情况,除此之外还可以组合使用,例如:某个功能复杂的特征工程的UDF,通过第一种和第二种方式,都需要在执行的时候配置多个参数,那么不如把他写成resource配置文件,同时组内开发人员众多,每个人都想使用自己的配置文件,另外又想根据情况随时做变量的微调;那么就可以将如上三种方案融合,变成一种综合方案,示例如下:

注册函数:

 add file usr1.txt;
 add file usr2.txt;
 add file usr3.txt;
 add file usr4.txt;
 create function udf4 as com.aliyun.udf.udf4 using "udf-1.0-SNAPSHOT.jar, usr1.txt,usr2.txt, usr3.txt,usr4.txt";

执行示例

select udf4(param1, map()) from dual;  -- 默认分支

set myconfig.config.file=usr3.txt;
select udf4(param1,map()) from dual;  --有配置文件的分支

set myconfig.config.file=usr3.txt;
select udf4(param1, map("k","v")) from dual; --有配置文件,但是通过函数参数调整配置的分支

实现代码

public class udf4 extends UDF {
    private String flags;
    public void setup(ExecutionContext ctx) throws UDFException {
        try {
            Properties ps= ctx.getConfigurations();
            String path = ps.getProperty("myconfig.config.file");

            if (path == null || path.length() <= 0) return ;

            InputStream in = ctx.readResourceFileAsStream(path);
            BufferedReader br = new BufferedReader(new InputStreamReader(in));
            flags = br.readLine();
        }catch (IOException e) {
            System.out.println("read error, "+e.toString());
            throw new UDFException(e);
        }

    }

    public String evaluate(String s, Map<String,String> mflags) {
        if (mflags.size() > 0) {
            return "new value 1:" + s;
        }
        if (flags == null) {
            return "default value:"+ s;
        }
        else{
            return "new value 2:" + flags + s;
        }
    }
}

特殊说明
1,在注册函数的时候,必须将所有可能用到的配置文件都注册,不然函数无法注册成功

除了普通的UDF外,UDAF、UDTF可用同样的方法进行配置。Python UDF的处理方式可参见:https://help.aliyun.com/document_detail/73359.html?spm=a1z2e.8101737.webpage.dtitle2.bb2a6a6c6Di3vt

上一篇:Java Socket 网络编程常见异常


下一篇:Python模块与包