一、概述
1、介绍
对*和有界数据流进行有状态计算的分布式引擎和框架，并可以使用高层API编写分布式任务，主要包括：
DataSet API（批处理）：静态数据抽象为分布式数据集，方便使用操作符进行处理（Python）
DataStream API（流处理）：对分布式流数据处理，从而进行各种操作
Table API：将结构化数据抽象为关系表，并使用类SQL的DSL的表进行查询
其他特定领域的库，例如机器学习、图计算
2、分层架构介绍
（1）介绍
分层架构，下层组件提供抽象服务于上层
（2）自下而上各层介绍
Deploy层：Flink的不同部署模式，包括local、Standalone脱机、Cluster、Cloud等
Runtime层：提供Flink计算的核心实现（过程函数ProcessFunction）
API层：面向流（DataStream）处理和批（Batch）处理的API
Libraries层：应用框架，CEP（复杂事件处理）、基于SQL的操作（Table/SQL API）
（3）详解
Runtime层：有状态流通过过程函数（ProcessFunction）嵌入到DataStreamAPI中
API层：DataStream API提供了通用的数据处理构建模块，比如多种形式的转换（transformations），连接（joins），聚合（aggregations），窗口操作（windows）等等。
Libraries层：TableAPI是以表为中心的声明式编程，提供可比较的操作，执行前经过内置优化器进行优化
3、运行组件
（1）组成
作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（Dispatcher）
（2）各组件功能
作业管理器JobManager：集群管理者Master和协调者、将作业图（JobGraph）转化为数据流图/执行图；请求资源、分发、协调；
资源管理器ResourceManager：（分配slot插槽）将有空闲插槽的TaskManager分配给JobManager，发起会话、中止释放资源；
任务管理器TaskManager：负责执行计算，（包含一定并发量）注册插槽、与同一程序的task M交换数据；
分发器Dispatcher：跨作业运行、为应用提交提供了REST接口。
Client：将Flink程序提交到集群，建立到JobManager的连接，将Flink Job提交给JobManager
4、Flink的部署模式
（1）Standalone模式
（2）Yarn模式-Hadoop>2.2
两种模式：Session-Cluster和Per-Job-Cluster模式
何时向yarn申请资源，创建flink集群
（3）Kubernetes部署
启动Flink的docker组件：JobManager、TaskManager、JobManagerService
5、任务提交流程
（1）常规
（2）yarn模式
6、任务调度相关概念
（1）TaskManger与Slots：JVM进程、Task Slot是静态的概念，是指TaskManager具有的并发执行能力
（2）程序与数据流（DataFlow）：Flink程序-Source、Transformation和Sink，转换运算（transformations）跟dataflow中的算子（operator）是一一对应的关系
（3）执行图（ExecutionGraph）：直接映射成的数据流图是StreamGraph，也被称为逻辑流图，需要转换为物理视图
执行图包括4层：StreamGraph->JobGraph->ExecutionGraph->物理执行图
（4）并行度（Parallelism）：特定算子的子任务（subtask）的个数
算子之间传输数据的形式：One-to-one类似于窄依赖，Redistributing类似于宽依赖
（5）任务链（OperatorChains）：相同并行度的One-to-one操作算子，形成一个task，减少线程之间的切换和基于缓存区的数据交换
7、Flink的基础编程模型
Flink 程序的基本构建是数据输入来自一个 Source，Source 代表数据的输入端，经过 Transformation 进行转换，然后在一个或者多个Sink接收器中结束。
数据流（stream）就是一组永远不会停止的数据记录流，而转换（transformation）是将一个或多个流作为输入，并生成一个或多个输出流的操作。
执行时，Flink程序映射到 streaming dataflows，由流（streams）和转换操作（transformation operators）组成。