知识卡片

普通读书笔记卡 · 1716.c.1.f.5

接续运行先判状态

理解等级:中级

问题:节点宕机后,如果任务还没运行,接管节点直接运行即可;但如果原节点已处理了部分数据、剩余未处理,或部分数据处于中间状态,新 Master 不做特殊处理就容易造成重复处理。

对策: - 不能拿到目标数据就开始处理,先做状态判断,仔细辨别哪些能处理、哪些不能; - 业务要详细记录状态迁移。例如催缴短信批处理设计一张业务日志表:用户 ID、处理时间、发送状态(0 未处理、1 处理中、2 处理完成、3 处理失败); - 发生 Master 迁移时,只查找未处理的数据继续处理,而不能查询所有数据。

一般化:任何可能中途切换执行者的批任务,都要把逐条处理状态持久化,让接续者能从断点继续而不是从头再来。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构基础:从需求到架构》第11章《第11章 批处理调度架构设计》11.3 集群批处理架构设计(4. 任务接续运行)(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_11_3.xhtml,来源项目 book-sources) - 结论依据:11.3节第4部分说明主节点宕机后若已处理部分数据或存在中间状态,新主节点直接重跑会重复处理,主张先判断状态、用业务日志表记录未处理、处理中、完成、失败四种状态,并在迁移后只处理未处理数据。 - 原始内容:当发生Master节点迁移时,需要查找所有未处理的数据进行继续处理,而不能查询所有数据。