flink1.12.x 容错机制:检查点算法Barrier(废弃)

废弃

见 flink1.12.x Checkpoint检查点算法Barrier

说明

检查点算法的核心就是检查点分界线(Checkpoint Barrier),Barrier可以认为是在 source 里面要做 checkpoint 的时候插入的一个特殊数据结构,用来把一条流上的数据按照不同的检查点分开。

  • barrier 之前的数据的状态更改会包含在当前分界线所属的检查点

  • barrier 之后的数据状态的更改属于之后的检查点

每个任务遇到 Barrier 保存自己的状态。如果有并行任务Barrier就广播出去。

如果上游也不只一个分区,那就有多个 Barrier ,要等到所有的 Barrier 到齐,才能保证之前该去处理保存的数据状态都保存进去了,所以有个 Barrier 对齐的概念。


原文出处:/show_1IX224fjIdKO.html