知识卡片

普通读书笔记卡 · 1716.c.1.f.8

按依赖编排而非按钟点

理解等级:中级

问题:每个批处理运行时长不确定,技术人员却常按时间先后设计流程。例:13 点发余额提醒,拆成 11 点提取用户、12 点整合数据、13 点发送三个任务。到 12 点任务 1 还没结束,任务 1 和任务 2 就会重叠,任务 2 处理的数据缺失或出错。

流水线思想:把一个大程序拆成多个执行单元,按流程运转——有时串行、有时并行、有时判断、有时汇总,不会出现任务重叠和执行错乱;每个单元都可以是一个批处理任务节点。

两种实现: 1. 树形依赖:任务定义表的任务 ID 和上级任务 ID 构成任务树;同层子任务可并行;加载顺序从根到子,调度顺序从子到父,结果逐级汇总到根节点即结束,类似 Master Worker 和 Fork Join 模式; 2. 与工作流结合:借助工作流的标准化流程控制,可并行、串行、按条件选分支、合并结果,还能加入人机交互和消息通知节点,流程定义和运行都可视化。

亮点与代价:每个节点都是独立处理单元,可复用组合成不同业务场景;但架构越复杂完整,灵活性越高,维护难度和出错概率也越大——要摒弃非此即彼的思维,按场景选择架构。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构基础:从需求到架构》第11章《第11章 批处理调度架构设计》11.5 流水线批处理架构设计(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_11_5.xhtml,来源项目 book-sources) - 结论依据:11.5节以按11点、12点、13点拆分的余额提醒任务说明按时间先后编排会导致任务重叠,提出流水线批处理思想及树形依赖结构和与工作流结合两种实现,并指出复杂架构灵活但维护难、应按场景选择。 - 原始内容:但是,如果到了12点,任务1还未运行结束,就会造成任务1和任务2相互重叠,造成任务2处理的数据缺失,或者运行出错。