开发者学堂课程【《实时计算 Flink 版中级课程》：如何使用实时计算提交和管理 Flink 任务】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/806/detail/13882
如何使用实时计算提交和管理 Flink 任务
目录
1.VVP 基本概念
2.JAR 任务提交
3.SQL 任务提交
4.Metrics & Log
一、VVP 基本概念
基本概念-
Deployment
·作业描述
·任务类型（IAR 和 SQL）
· flink 版本和配置（flink configuration）
·CPU 和内存 Uobmanager/askmanager）
·恢复策略 （Restore Strategy）
·期望状态（Desired）和实际状态（Current）
· RUNNING, CANCELED, SUSPENDED
· TRANSTIONING, FINISHED, FAILED
基本概念-Draft
·任务的开发态
·新建 Draft->上线（转 Deployment）->运维（其他操作）
基本概念-Job
·源自 Deployment（Deployment 的一个作业实例）
·对应一个具体的 EIink Job
二、JAR 任务提交
Jar 打包上传
·社区 top window 代码本地打包
https:/github com/apachefink/tree/master/flink-examples/link-examples-streaming
·htps://repol.maven org/mavenZ/org/apache/flink
/flink-examples-streaming2111.12.2/ink-examples-streaming 211-1122-TopSpeedWindowingiar
·artifacts 上传，删除，覆盖
上线 Draft
·点击"上线"
Deployment 基本操作
·作业的启停
·Deployment 详情页概览
Deployment 配置
·模版模式（基础、高级）、YAML 模式编辑
Deployment 其他操作
·基本操作
· sart, cancdl. wvpend, wepont, fox、dee
·升级与恢复
·restore(svepoint hedpoint, none)
·作业换照的使用，从历史 yavepcim 恢复（从 sp fok）
·运堆
·详情页 Metic
·Flnk UI
基本概念-Session Cluster
·资源共享，复用 JobManager，节省小作业资源消耗
·任务启动速度快，适用于作业运行时间较短的场景
品 Session 集群
提交任务到 Session 集群
·系统管理->Session 集群
·Deployment 的部署目标选择 Session 集群
3. SQL 任务提交
基本概念-SQL 分类
·DDL
·数据定义语言（create table/view/index/syn/cluster）
.DQL
· 数据查询语言（select* from xx where xx）
·DML
·数据操纵语言（insert/update/delete）
·DCL
·数据控制语言（grant/rollack/commit）
基本概念-Catalog
·管理元数据
·表 Catalog.DB.Table
·函数∶UDFUDTFUDAF
语法说明-注册函数
● 上传 UDF JAR包
●可下载 http//fa2020.osS-cn-bejingaliyuncscom/ud10jar 到本地再上传
●CREATE FUNCTION`MyScalarfunc AS'com.test.MyScalarFunc'
语法说明-使用函数
内置函数
INSERT INTO blackhole_sink
SELECT UPPER(name), score FROM datagen_source
自定义函数
INSERT INTO blackhole_sink
SELECT MyScalarfunc(name), score FROM datagen_source
语法说明-Temporary Table
语法说明- Temporary View
语法说明- Statement Set
应用范围
· Create Table
·会注册到系统 Catalog（默认是 VvpCatalog）中，进行持久化
·适合多个 query 共享元数据的情况
· Create Temporary Table · 会使用内存的 Catalog，不会持久化
· 适合不需要共享元数据的场景只给当前 query 使用。例如测试任务。
· Create Temporary View
·简化 SQL 语句
· Statement Set
· 适合需要输出到多个下游（多sink表）的场景
自定义 Connector & Format
·实现接口
· DynamicTableSourceFactory
·DynamicTableSinkFactory
·接口描述文件∶ META-INF/services/org.apache.fink.table，factories.Factory
·上传 JAR 包进行注册
·可下载 htp//n2020oscn-bellinglvunccom/mydatken-printe10Jar 到本地再上传
使用自定义 Connector
SQL Preview
· 配置某个 Session 集群作为 SQL Preview 使用的集群· 该 session 集群需要是运行状态
· 直接运行 DQL 语句
· SELECT UPPER(name), score FROM datagen_source;
Metrics- reporter
·默认使用 PrometheusReporter
·自定义 metrics reporter
·编辑 Deployment -> 高级配置->其他配置
Metrics- grafana
LOG
·自定义 Log Level
· root INFO
· org.apache.fink: DEBUG
·自定义 Logging Profile ,
· oss
· sls