知识卡片
调度定义存库与执行分离
单机批处理:调度与批处理单元都在一台服务器上,部署简单、开发方便,小项目足够;但计算能力有限、可用性差,宕机或进程异常就没执行。仍是使用最多的方式,集群和分布式都是它的延伸。
五个执行步骤:开启任务(记录开启时间、状态)→ 获取运行参数(外部传入、库或缓存读取、或硬编码;用于确定数据范围或控制流程)→ 提取源数据(决定处理范围的准确性和性能)→ 处理数据(串行或并行,很大程度决定效率)→ 结束任务(记录结束状态、时间,释放资源)。
问题:调度定义常写在配置文件或程序注解里,耦合大——调整运行时间、方式要改代码或配置甚至重启;公司 10 个项目可能有 10 个批处理系统,分布在不同 IP、用不同框架。
调度与执行分离:任务定义 → 加载任务 → 执行任务。存储三部分: - 任务定义表:把调度任务抽象为一条数据(含任务 ID 和上级任务 ID); - 任务执行日志表:启动、停止、状态; - 任务日志文件:每次执行一个独立文件,文件名就是日志 ID,可直接定位问题。
示例(每晚 7 点给逾期超过 2 天的信用卡用户发催缴短信):应用启动时取本机 IP,只加载相同 IP、状态为启动的任务,每台服务器只管自己职责内的任务;逾期天数作为参数传入(改发超过 5 天只需传 5);发送时记录每个账户催缴短信的时间和状态,用于追查和避免重复发送。
动态调整:管理员通过调度器修改任务定义表(启停、改程序、改执行 IP),再通知执行器重新加载并刷新内存中的任务——集群和分布式模式也要采用这种思想。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 批处理调度架构设计 · 查看原书依据
调度器与执行器分离的这种思想可以为程序解耦,调度与执行相互分离,在集群模式和分布式模式中也需要采用此种设计。
参考来源
- 位置:《架构基础:从需求到架构》第11章《第11章 批处理调度架构设计》11.2 单机批处理架构设计(导语、11.2.1)(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_11_2.xhtml,来源项目 book-sources)
- 结论依据:11.2节介绍单机批处理的优缺点与五个执行步骤;11.2.1节指出调度定义写在配置或注解中耦合过高,提出以任务定义表、执行日志表、日志文件实现调度与执行分离,以逾期催缴短信为例说明按IP加载任务、参数化与发送记录,以及通知执行器重新加载的动态调整。
- 原始内容:调度器与执行器分离的这种思想可以为程序解耦,调度与执行相互分离,在集群模式和分布式模式中也需要采用此种设计。