StreamingPro支持Flink的流式计算了

前言
有的时候我们只要按条处理,追求实时性而非吞吐量的时候,类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进,而Flink在流式方面做得很棒,两者高层的API也是互相借鉴,容易形成统一的感官,所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎。

StreamingPro自身设计之初就是为了支持多引擎的,所以改造成本很低,昨天花了一下午,晚上加了会班就重构完了。这次增强可以让我司的流式引擎有了新的选择。


准备工作


下载安装包

为了跑起来,你需要下载一个flink的包,我用的是1.2.0版本的。

接着就是下载StreamingPro的 flink版本:

https://pan.baidu.com/s/1slCpxxV


启动flink

进入flink安装目录运行如下命令:

./bin/start-local.sh

之后写一个flink.json文件:

{
  "example": {
    "desc": "测试",
    "strategy": "flink",
    "algorithm": [],
    "ref": [],
    "compositor": [
      {
        "name": "flink.sources",
        "params": [
          {
            "format": "socket",
            "port": "9000",
            "outputTable": "test"
          }
        ]
      },
      {
        "name": "flink.sql",
        "params": [
          {
            "sql": "select * from test",
            "outputTableName": "finalOutputTable"
          }
        ]
      },
      {
        "name": "flink.outputs",
        "params": [
          {
            "name":"jack",
            "format": "console",
            "inputTableName": "finalOutputTable"
          }
        ]
      }
    ],
    "configParams": {
    }
  }
}
目前source 只支持 kafka/socket ,Sink则只支持console和csv。准备好这个文件你就可以提交任务了:
./bin/flink run  -c streaming.core.StreamingApp \ /Users/allwefantasy/streamingpro/streamingpro.flink-0.4.14-SNAPSHOT-online-1.2.0.jar 
-streaming.name god \
-streaming.platform flink_streaming \
-streaming.job.file.path file:///Users/allwefantasy/streamingpro/flink.json
然后皆可以了。
你也可以到localhost:8081 页面上提交你的任务。
StreamingPro支持Flink的流式计算了


后面的话
Flink目前在流式计算上对SQL支持有限,暂时还不支持Join,Agg等行为操作,这个和Spark相比较而言差距还比较大。不过我们很快会将Script暴露出来,可以让大家直接进行编程,主要利用其Table API。

上一篇:Java版SLG游戏开发入门[2]--数据的读取及保存


下一篇:C# 当中 foreach 的原理