1 实现UDF函数
可以更细粒度的对流进行控制
flink暴露了所有udf函数的接口,实现方式是接口或者抽象类比如MapFunction,FilterFunction,ProcessFunction等等。我们很容易在flink的算子里发现所有的算子都有两份重载的函数,①一个可以直接传入一个lamda表达式,②一个可以传入一个函数类,这里的UDF函数说的就是②说说的函数类
package com.study.liucf.unbounded.udf
import com.study.liucf.bean.LiucfSensorReding
import org.apache.flink.api.common.functions.FilterFunction
/**
* @Author liucf
* @Date 2021/9/12
* 过滤以agrKey开头的数据
*/
class LiucfFilterUdfFun(agrKey:String) extends FilterFunction[LiucfSensorReding]{
override def filter(value: LiucfSensorReding): Boolean = {
value.id.startsWith(agrKey)
}
}
package com.study.liucf.unbounded.udf
import com.study.liucf.bean.LiucfSensorReding
import org.apache.flink.api.common.functions.FilterFunction
import org.apache.flink.streaming.api.scala._
/**
* @Author liucf
* @Date 2021/9/12
*/
object FilterUDFTest {
def main(args: Array[String]): Unit = {
//创建flink执行环境
val env = StreamExecutionEnvironment.getExecutionEnvironment
//读取数据
val inputStream: DataStream[String] = env.readTextFile("src\\main\\resources\\sensor.txt")
//转换数据类型 string 类型转换成LiucfSensorReding,求最小值
val ds = inputStream.map(r=>{
val arr = r.split(",")
LiucfSensorReding(arr(0),arr(1).toLong,arr(2).toDouble)
})
//.filter(d=>d.id.startsWith("sensor_1"))//① lamda表达式方式,输出以sensor_1开始的传感器的温度
//.filter(_.id.startsWith("sensor_1")) //② 匿名函数的方式,输出以sensor_1开始的传感器的温度
//.filter(new LiucfFilterUdfFun("sensor_1"))//③ UDF 函数类的方式,输出以sensor_1开始的传感器的温度
.filter(new FilterFunction[LiucfSensorReding] {//④ 匿名函数类的方式,输出以sensor_1开始的传感器的温度
override def filter(value: LiucfSensorReding): Boolean = {
value.id.startsWith("sensor_1")
}
})
ds.print()
//启动flink执行
env.execute("liucf FilterUDF test")
}
}
2 Rich Function
“富函数”是DataStream API提供的一个函数类的接口,所有flink函数类都有Rich Function版本,它与常规函数类的不同在于,可以获取应行时的上下文,并拥有一些生命周期方法,所以可以实现一些更复杂的功能。比如RichMapFunction,RichFlatMapFunction,RichFilterFunction。
Rich Function 有一个生命周期的概念,典型的生命周期方法有
package com.study.liucf.unbounded.udf
import com.study.liucf.bean.LiucfSensorReding
import org.apache.flink.api.common.functions.{FilterFunction, RichFilterFunction}
import org.apache.flink.configuration.Configuration
/**
* @Author liucf
* @Date 2021/9/12
*/
/**
* 普通的函数类
* @param argKey
*/
class LiucfFilterFunction(argKey:String) extends FilterFunction[LiucfSensorReding]{
override def filter(value: LiucfSensorReding): Boolean = {
value.id.startsWith("sensor_1")
}
}
/**
* 富有函数类
* @param argKey
*/
class LiucfRichFilterFunction(argKey:String) extends RichFilterFunction[LiucfSensorReding]{
override def filter(value: LiucfSensorReding): Boolean = {
value.id.startsWith("sensor_1")
}
//生命周期函数
override def open(parameters: Configuration): Unit = {
setRuntimeContext(getRuntimeContext)
}
// 生命周期函数
override def close(): Unit = {
}
}