知识卡片
按依赖编排而非按钟点
问题:每个批处理运行时长不确定,技术人员却常按时间先后设计流程。例:13 点发余额提醒,拆成 11 点提取用户、12 点整合数据、13 点发送三个任务。到 12 点任务 1 还没结束,任务 1 和任务 2 就会重叠,任务 2 处理的数据缺失或出错。
流水线思想:把一个大程序拆成多个执行单元,按流程运转——有时串行、有时并行、有时判断、有时汇总,不会出现任务重叠和执行错乱;每个单元都可以是一个批处理任务节点。
两种实现: 1. 树形依赖:任务定义表的任务 ID 和上级任务 ID 构成任务树;同层子任务可并行;加载顺序从根到子,调度顺序从子到父,结果逐级汇总到根节点即结束,类似 Master Worker 和 Fork Join 模式; 2. 与工作流结合:借助工作流的标准化流程控制,可并行、串行、按条件选分支、合并结果,还能加入人机交互和消息通知节点,流程定义和运行都可视化。
亮点与代价:每个节点都是独立处理单元,可复用组合成不同业务场景;但架构越复杂完整,灵活性越高,维护难度和出错概率也越大——要摒弃非此即彼的思维,按场景选择架构。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 批处理调度架构设计 · 查看原书依据
但是,如果到了12点,任务1还未运行结束,就会造成任务1和任务2相互重叠,造成任务2处理的数据缺失,或者运行出错。
参考来源
- 位置:《架构基础:从需求到架构》第11章《第11章 批处理调度架构设计》11.5 流水线批处理架构设计(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_11_5.xhtml,来源项目 book-sources)
- 结论依据:11.5节以按11点、12点、13点拆分的余额提醒任务说明按时间先后编排会导致任务重叠,提出流水线批处理思想及树形依赖结构和与工作流结合两种实现,并指出复杂架构灵活但维护难、应按场景选择。
- 原始内容:但是,如果到了12点,任务1还未运行结束,就会造成任务1和任务2相互重叠,造成任务2处理的数据缺失,或者运行出错。