← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1716.c.1.f

批处理与调度是两件事

理解等级:初级

常见场景:9 点给当天生日用户发祝福;凌晨 1 点清算前一天资金往来、计算利息;每月 1 号汇总上月数据生成 PDF 邮件发送;0 点作废当日未支付订单;10 点给逾期用户发还款提醒;每两分钟刷新积分排名。批处理属于计算密集型,开发不当容易 CPU 或 I/O 负载过高、内存溢出,也可能资源用不满、处理缓慢。

两件事: - 批处理是执行单元,完成具体业务逻辑(发短信、算账单); - 调度是控制单元,决定什么时候执行、怎样执行、执行一次还是多次、串行还是并行。 因此调度通常由一个中心架构完成,批处理可以是分布式架构。控制器负责调度定义(时间、频率、触发方式、参数、执行方式)和任务的启动、停止、挂起、暂停;执行器负责具体执行,可单机、集群、分布式部署。

两种触发方式: - 事件触发:用户操作(财务点“记账检查”)或数据状态变化(检查合格后自动生成报表并发送); - 时间触发:精确到秒只执行一次,或按固定频率(每月 1 日 9~12 点每 30 分钟一次)。

何时用批处理:集中批量处理效率高、CPU 利用率高,但实时性差、执行时间长。大量数据需集中处理,并有明确的时间点和数据状态要求时用批处理;实时性要求高的业务用实时计算框架。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 批处理调度架构设计 · 查看原书依据

      批处理和调度是两件事。批处理是一个执行单元,负责完成具体的业务逻辑,如发送短信、计算账单等,而调度是一个控制单元,负责决定批处理什么时候执行,怎样执行,是执行一次还是多次,是串行还是并行,等等。

    参考来源

    - 位置:《架构基础:从需求到架构》第11章《第11章 批处理调度架构设计》第11章导语;11.1 批处理调度并不是简单的循环(1、2)(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_11_1.xhtml,来源项目 book-sources) - 结论依据:第11章导语列出批处理的典型场景与计算密集型风险;11.1节区分作为执行单元的批处理与作为控制单元的调度,介绍事件触发和时间触发两种方式,并说明批处理适用于有明确时间点和数据状态要求的大量数据集中处理;11.6节练习复述了触发方式与控制器、执行器的职责。 - 原始内容:批处理和调度是两件事。批处理是一个执行单元,负责完成具体的业务逻辑,如发送短信、计算账单等,而调度是一个控制单元,负责决定批处理什么时候执行,怎样执行,是执行一次还是多次,是串行还是并行,等等。