有的时候我们只要按条处理,追求实时性而非吞吐量的时候,类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进,而Flink在流式方面做得很棒,两者高层的API也是互相借鉴,容易形成统一的感官,所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎。
StreamingPro自身设计之初就是为了支持多引擎的,所以改造成本很低,昨天花了一下午,晚上加了会班就重构完了。这次增强可以让我司的流式引擎有了新的选择。
下载安装包
为了跑起来,你需要下载一个flink的包,我用的是1.2.0版本的。接着就是下载StreamingPro的 flink版本:
https://pan.baidu.com/s/1slCpxxV
启动flink进入flink安装目录运行如下命令:
./bin/start-local.sh
之后写一个flink.json文件:
{
"example": {
"desc": "测试",
"strategy": "flink",
"algorithm": [],
"ref": [],
"compositor": [
{
"name": "flink.sources",
"params": [
{
"format": "socket",
"port": "9000",
"outputTable": "test"
}
]
},
{
"name": "flink.sql",
"params": [
{
"sql": "select * from test",
"outputTableName": "finalOutputTable"
}
]
},
{
"name": "flink.outputs",
"params": [
{
"name":"jack",
"format": "console",
"inputTableName": "finalOutputTable"
}
]
}
],
"configParams": {
}
}
}
目前source 只支持 kafka/socket ,Sink则只支持console和csv。准备好这个文件你就可以提交任务了:./bin/flink run -c streaming.core.StreamingApp \ /Users/allwefantasy/streamingpro/streamingpro.flink-0.4.14-SNAPSHOT-online-1.2.0.jar
-streaming.name god \
-streaming.platform flink_streaming \
-streaming.job.file.path file:///Users/allwefantasy/streamingpro/flink.json
然后皆可以了。你也可以到localhost:8081 页面上提交你的任务。
后面的话
Flink目前在流式计算上对SQL支持有限,暂时还不支持Join,Agg等行为操作,这个和Spark相比较而言差距还比较大。不过我们很快会将Script暴露出来,可以让大家直接进行编程,主要利用其Table API。