知识卡片

结构图卡

链式与批量阶段划分

理解等级:未标注

很多计算需求不是纯并行就能满足的——现实世界的生产过程往往既要并行(多个配件同时生产)又要遵循先后顺序(配件齐全才能组装)。作者用两种不同粒度的手段支持这种”并行+串行”的需求。粗粒度手段是让多个包工头首尾衔接、形成加工链式的多环节处理:每个环节仍然是一个包工头带多个工人并行完成,但环节与环节之间是串行推进的。这样做的价值不只是”能实现更复杂的计算逻辑”,更重要的是让原本混在一起的复杂计算过程变得可监控、可定位——出问题时能知道具体卡在哪个环节,而不是面对一整块不透明的计算黑箱;这个思路还能更灵活地覆盖难以直接套用固定两阶段 Map/Reduce 模板的场景(如Map/Reduce/Map/Reduce…这类非标准组合,只要多加一个环节即可,而不必削足适履地套进死板的两阶段框架)。细粒度手段则是在单个包工头内部,通过doTaskBatch这个阻塞方法实现批量多阶段处理——一批工人各自执行任务,必须等最慢的一个完成才统一返回,据此可以把一个包工头内部的giveTask逻辑再拆成多个更小的处理步骤。两种手段合起来,让开发者可以按需选择”粗粒度换角色的环节切分”或”细粒度同角色内的阶段切分”,比只支持单一粒度的划分方式更灵活。可迁移启发:当一个通用计算/处理框架需要支持”多阶段流水线”这类需求时,值得同时提供两种不同粒度的阶段划分手段——角色间的粗粒度环节切分(利于监控和职责边界清晰)和角色内的细粒度阶段切分(利于精细控制局部流程),而不是只支持其中一种、逼着用户把所有阶段都塞进同一个粒度里。

结构图:

flowchart LR
  A["并行+串行的两种划分粒度"]
  A --> B["粗粒度:多包工头链式衔接<br/>包工头1(并行N工人)→包工头2(并行M工人)→...<br/>利于监控定位+表达多阶段组合而不硬套两阶段模板"]
  A --> C["细粒度:单包工头内doTaskBatch<br/>giveTask内部拆成多个批量处理阶段<br/>每阶段等最慢工人完成再进入下一阶段"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》之"2.1.5 并行结合串行模式"与"2.1.6 包工头内部批量多阶段处理模式"(源文件:_epub-src/OEBPS/text00012.html、text00013.html) - 结论依据:原文说明"多个包工头可以衔接在一起,以加工链式的方式向下执行,同时每一个链环节又可以让多个工人并行完成……计算过程混在一起没有环节,首先比较难监控和处理异常……对照环节的切分思想,我们再看看如何满足Map/Reduce计算……如果是更灵活的需求,比如Map/Reduce/Map/Reduce……转换为一到多个链式环节去处理就很容易……doTaskBatch是一个堵塞方法,直到WorkerLocal[]中所有工人计算完成,才返回最后的结果集", 直接支撑本卡关于粗细粒度划分的结构图。 - 原始内容:通过包工头的链式处理和内部的批量处理,可以粗粒度或细粒度地设计并行计算过程中的环节和阶段划分,这样能更灵活地满足不同层面的计算过程划分需求。