Flink原理流程图简单记录_flink流程图

记录一些图片留给自己将来复习回忆

Yarn-per-job启动流程图

PRC流程图

Akka基于Actor的RPC通信系统,核心概念也是Message,它是基于协程的,性能好:基于scala的偏函数,易用性高,
但是它毕竟只是RPC通信,无法适用大的package/stream的数据传输，所以更多使用场景还是Netty

任务调度

streamGraph：client内根据顺序串联算子，封装流和边。不是对数据做转换的算子变成边，比如keyBy变成hash StreamEdge
JobGraph: 优化多个操作链。多个StreamNode经过优化后可能会chain合并到一个JobVertex。并且多出顶点的中间数据集
1
2

ExecutionGraph：执行顶点根据并行度展开，中间结果集变成多个中间结果分区
1

调度器进行RPC通过网关开启调度真正物理执行
1

内存管理

内存模型

JVM元空间：默认256mb
JVM执行开销：默认总内存0.1比例
框架内存：TaskManager本身所占用的内存，不计入slot资源中。默认堆内堆外都是128mb
Task内存：堆外内存默认不开启，堆内内存默认none
	（由Flink内存扣除其他内存得到，也就是所有多出的内存都是属于Task内存，Flink内存=总内存-JVM元空间和执行开销）
网络内存：网络数据交换的对外内存。默认大小为Flink内存比例0.1/最小64mb/最大1G
管理内存：默认Flink内存比例0.4
1
2
3
4
5
6
7

内存数据结构-内存段

网络传输的内存管理

传输数据：数据进入本地缓冲池，然后进入网络缓冲池，通过网络缓冲池进行数据的传输
接收数据：流程相反
1
2