知识卡片

普通读书笔记卡 · 1716.c.1.f.1

批处理不能只靠循环

理解等级:初级

误区:很多人认为批处理就是对数据做简单循环。实际上还要考虑怎么执行更快、怎么处理得更精准、怎么避免故障——即执行效率、处理性能和可用性。

算一笔账:每条数据耗时 10 毫秒,循环处理 100 条、1 万条、100 万条、1000 万条、1 亿条分别需 1 秒、100 秒、2.78 小时、27.78 小时、277.78 小时——1000 万条已超过一天,无法接受。每条耗时 10 秒时,100 万条就要约 11.6 天。

结论:数据处理速度是评价批处理最重要的指标之一。批处理调度有四种架构:单机、集群、分布式、流水线,各有优缺点和使用场景。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构基础:从需求到架构》第11章《第11章 批处理调度架构设计》11.1 批处理调度并不是简单的循环(3)(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_11_1.xhtml,来源项目 book-sources) - 结论依据:11.1节第3部分指出批处理不只是简单循环,还要考虑效率、精准与可用性,以不同数据量和单条耗时下的循环总耗时说明问题,并引出单机、集群、分布式、流水线四种批处理调度架构。 - 原始内容:因此,绝对不能用单纯的循环思维来做批处理。