flink1.12.x 容错机制:Checkpoint检查点流程(废弃)

废弃

详见 flink1.12.x Checkpoint检查点流程

检查点流程

  1. JobManager 触发 Checkpoint,发出一个标记,这个标记会带着一个数,他发送给所有的 source 任务, source 接收到消息之后就会在当前的数据流里面插入 Barrier。

  2. source 任务见到了 barrier 就把当前刚处理完的状态(偏移量)保存了,然后把 barrier 广播往下游发送,同时向 JobManager 确认检查点已经保存好了

  3. 如果上游其中一个分区的 barrier 到了,接下来要做的是 Barrier 的对齐,没到齐之前,已经来了 barrier 的流新的数据又来了不能直接做计算,而是先缓存起来,而 barrier 还没有到达的上游分区来的数据会被正常处理

  4. 上游所有输入分区的 barrier 都到齐时,任务就将其状态保存到状态后端的检查点中,将 barrier 继续向下游转发

  5. 直到Sink 任务向 JobManager 确认状态保存到 checkpoint 完毕。当所有任务都确认已成功将状态保存到检查点时,检查点就真正完成了

感谢:https://blog.csdn.net/weixin_43786255/article/details/107738575