flink(一)

jobgraph
包含若干个jobvertex,每个jobvertex包含若干个operatorId,一个operatorId包含一个操作,jobvertex的输入来自jobedge,然后将结果输出到IntermediateDataSet。
heartbeat
心跳监视程序,HeartbeatTarget可以发送和接收心跳包的基类,HeartbeatManager一个用于管理HeartbeatTarget和其他心跳包目标的基类,包含若干个listener和
一系列monitor,一个monitor代表对一个心跳目标的监控。

leaderelection
主要实现jobmaster的选主逻辑,LeaderContender被选举信息,选举的主要参数,LeaderElectionService接口完成选主逻辑,主要包括StandaloneLeaderElectionService单点实现和ZooKeeperLeaderElectionServices实现

leaderretrieval
主要实现master变更功能,LeaderRetrievalListener用于响应主节点变更事件,LeaderRetrievalService接口主要完成对LeaderRetrievalListener的通知,主要包括StandaloneLeaderRetrievalService单点的实现和ZooKeeperLeaderRetrievalService实现

concurrent
主要增加了ExecutorService的实现,submit一个task后是直接调度,以及带定时的调度ScheduledExecutor

deployment
任务的一些调度信息,jobmaster调度taskmanager是的一些参数

clusterframework
主要包含了akka的启动以及一些必要的配置的加载ContainerOverlay

executiongraph
jobgraph的运行时信息,Execution一个节点的单次运行,ExecutionGraph包含运行的任务信息,要运行的任务,任务失败后的重试策略,大文件写入器blobWriter,数据分区和shuffle信息,ExecutionEdge只有一个IntermediateResultPartition作为数据的来源和ExecutionVertex目标以及inputNum。ExecutionJobVertex主要包含输入数据信息,输入数据分区信息,ExecutionVertex是executionJobVertex的一个并行任务。Execution可以deploy一个task到taskmanager。

jobmanager
主要实现jobGraph的保存,可以保存本地和zookeeper。
jobmaster
包含slotpool,用于通过rpc管理资源管理器的slot,而资源管理器中slot由jobmanger注册进去,jobmaster用于将jobgraph转换为executiongraph,并生成Execution,并且通过调度器发起调用。JobManagerRunner一个job启动时会启动此类的一个对象,然后次对象会通过选举出现一个master,master会运行jobmaster。
然后jobmaster会将自己注册到资源管理器,以后客户端的任务就是通过资源管理器找到jobmaster的

taskmanager
主要定义了运行任务的环境信息RuntimeEnvironment,Task任务用于运行的一个基本单元,根据配置信息加载出要运行的AbstractInvokable,然后执行invoke。

taskexecutor
主要包含了TaskManagerRunner,负责向资源管理器中注册slot并保持和资源管理器的心跳,和真正的分配slot,并包含若干个TaskExecutor,slot的真正持有者,它通过slotTable来管理自身的slot,TaskExecutor也是任务的实际运行者。JobLeaderService用于监听jobmaster的变化。

resourcemanager
主要定义了资源管理的ResourceManager,负责资源管理,主要管理TaskManager,TaskManager将自己封装为taskManagerRegiresion通过rpc注册到资源管理器,注册后的信息统一由slotManager管理。同时也管理jobManager,同时定义了JobLeaderIdService,此对象定义了一系列linstener,用于监听jobMaster变化。

shuffle
主要定义ShuffleDescriptor和ShuffleEnvironment。

io-disk
主要分为两部分,一个是disk部分,主要是本地资源管理,FileChannelManager创建文件并创建响应的channel,同时定义FileChannelInputView作为数据写入的入口。IOManager定义了统一的channel创建入口,可以生成的统一的writer。

io-network
定义了ResultPartion,也就是task的输出,一个ResultPartion包含若干个ResultSubpartition,ResultSubpartition有两个子类,一个将数据保存在内存里,一个是可以将数据写入文件,写入文件的实现是BoundedBlockingSubpartition,此类包含一个BoundedData接口的实现类的一个字段FileChannelBoundedData,FileChannelBoundedData则是通过在disk部分提到的文件和channel功能来完成数据的写入。另外会有一个nettyServer可以管理的这个Partion的输入输出流,输入流用于分布式时数据的写入,输出流是下一个task的输入数据。InputGate也就是一个task的输入,用于获取一个task的数据,数据以buffer的形式被传输,buffer依赖与一个channel,channel里的数据来自一个bufferpool的接口,bufferPool的一个实现就是通过netty来完成的,也就是连接刚才nettyServer启动的服务。

上一篇:Vue slot插槽


下一篇:linux ubuntu 如何查看GPU显卡(或者设备)和CPU的连接关系