二、Flink SQL & Table 编程和案例

Table API 和 SQL 处于最顶端,是 Flink 提供的高级 API 操作。Flink SQL 是 Flink 实时计算为简化计算模型,降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言.

一个完整的 Flink Table & SQL Job 也是由 Source、Transformation、Sink 构成:

  • Source 部分来源于外部数据源,我们经常用的有 Kafka、MySQL 等;
  • Transformation 部分则是 Flink Table & SQL 支持的常用 SQL 算子,比如简单的 Select、Groupby 等,当然在这里也有更为复杂的多流 Join、流与维表的 Join 等;
  • Sink 部分是指的结果存储比如 MySQL、HBase 或 Kakfa 等。

动态表
与传统的表 SQL 查询相比,Flink Table & SQL 在处理流数据时会时时刻刻处于动态的数据变化中,所以便有了一个动态表的概念。
动态表的查询与静态表一样,但是,在查询动态表的时候,SQL 会做连续查询,不会终止。

SELECT/AS/WHERE

SELECT、WHERE 和传统 SQL 用法一样,用于筛选和过滤数据,同时适用于 DataStream 和 DataSet。

也可以在 WHERE 条件中使用 =、<、>、<>、>=、<=,以及 AND、OR 等表达式的组合:

SELECT name,age FROM Table where name LIKE %小明%;
SELECT * FROM Table WHERE age = 20;
SELECT name, age
FROM Table
WHERE name IN (SELECT name FROM Table2)

GROUP BY / DISTINCT/HAVING

GROUP BY 用于进行分组操作,DISTINCT 用于结果去重。HAVING 和传统 SQL 一样,可以用来在聚合函数之后进行筛选。

JOIN 可以用于把来自两个表的数据联合起来形成结果表,目前 Flink 的 Join 只支持等值连接。Flink 支持的 JOIN 类型包括:

WINDOW

根据窗口数据划分的不同,目前 Apache Flink 有如下 3 种:

  • 滚动窗口,窗口数据有固定的大小,窗口中的数据不会叠加;

  • 滑动窗口,窗口数据有固定大小,并且有生成间隔;

  • 会话窗口,窗口数据没有固定的大小,根据用户传入的参数进行划分,窗口数据无叠加;

滚动窗口
SELECT
[gk], [TUMBLE_START(timeCol, size)], [TUMBLE_END(timeCol, size)], agg1(col1), ... aggn(colN) FROM Tab1 GROUP BY [gk], TUMBLE(timeCol, size)
#举例
SELECT user, TUMBLE_START(timeLine, INTERVAL 1 DAY) as winStart, SUM(amount)
FROM Orders GROUP BY TUMBLE(timeLine, INTERVAL 1 DAY), user;
滑动窗口
SELECT
    [gk],
    [HOP_START(timeCol, slide, size)] ,
    [HOP_END(timeCol, slide, size)],
    agg1(col1),
    ...
    aggN(colN)
FROM Tab1
GROUP BY [gk], HOP(timeCol, slide, size)
案例
SELECT product, SUM(amount) FROM Orders GROUP BY HOP(rowtime, INTERVAL ‘1‘ HOUR, INTERVAL ‘1‘ DAY), product

会话窗口
SELECT
    [gk],
    SESSION_START(timeCol, gap) AS winStart,
    SESSION_END(timeCol, gap) AS winEnd,
    agg1(col1),
     ...
    aggn(colN)
FROM Tab1
GROUP BY [gk], SESSION(timeCol, gap)
案例
SELECT user, SESSION_START(rowtime, INTERVAL ‘1‘ HOUR) AS sStart
, SESSION_ROWTIME(rowtime, INTERVAL ‘1‘ HOUR) AS sEnd, SUM(amount)
FROM Orders GROUP BY SESSION(rowtime, INTERVAL ‘1‘ HOUR), user

二、Flink SQL & Table 编程和案例

上一篇:[oracle]对象统计数据


下一篇:Mysql 空间查询