知识卡片

结构图卡

递归组合计算单元

理解等级:未标注

当需要让多个”工头-工人”计算单元之间也并行工作(而不只是环节内并行、环节间串行)时,一个直觉的解法是新增一个”总工头”角色去统一分配和汇总。但作者指出这条路一旦走下去会陷入无穷递归的复杂度陷阱:总工头分配任务后,各工头的结果要不要汇总到总工头?如果数据大,全汇总到一处并不合适,那各工头之间能不能互相合并——这不就是要重新设计一套跟”工人之间合并”类似但独立的机制吗?而且随着集群规模扩大,总工头自己也可能不够用,需要再套一层”总-总工头”,一层套一层,每加一层都要重新考虑合并机制,系统会越来越臃肿复杂。作者给出的解法是不引入任何新角色,而是复用已有的”工头-工人”组合本身:把下层的整个”工头-工人”计算单元,当作上层某个工人的doTask实现内部去调用和管理的对象——上层工人在自己的任务逻辑里创建、驱动、等待下层工头完成计算,再把结果返回给上层。这样”总工头”其实就是最上层的普通工头,”总工头下面又要总工头”的问题被消解成”继续往下嵌套更多层工头-工人单元”,新增层级不需要发明任何新角色或新合并机制,也不需要事先假定集群会有多少层——想加就在工人实现里再嵌一层。这种嵌套组合方式还顺带解决了异构集成问题:下层的计算单元不需要是同一时期、同一语言、同一框架实现的,只要能在上层工人的实现里通过某种方式(比如调用脚本)启动它、拿到结果即可,新旧系统、不同技术栈的历史遗留系统都能这样统一集成进来。可迁移启发:当发现某个设计思路会导致”每加一层都要重新发明一套类似的协调机制”这种递归复杂度爆炸时,应该反过来问:能不能让现有的基本单元自己支持递归嵌套(把下一层的整体当作上一层某个节点内部的实现细节),而不是不断新增专门角色去桥接层与层之间的关系——前者复用角色类型,但调度深度、故障传播和结果合并成本仍会随层数增加,必须另行约束。

结构图:

flowchart TB
  A["朴素思路:新增总工头角色"]
  A --> P1["问题1:各工头结果如何合并到总工头?数据大不合适"]
  A --> P2["问题2:继续扩大时总工头角色层层膨胀"]
  P1 --> S["Fourinone解法:不新增角色,递归复用工头-工人组合"]
  P2 --> S
  S --> L1["上层工头 -> 多个上层工人"]
  L1 --> L2["每个上层工人的doTask内部<br/>创建/驱动/等待一个下层工头-工人单元<br/>(下层单元可异构:不同语言/框架/遗留系统)"]
  L2 -.->|"可继续嵌套更多层,无需新角色"| L2
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》之"2.1.7 计算集群模式和兼容遗留计算系统"(源文件:_epub-src/OEBPS/text00014.html) - 结论依据:原文说明"如果总工头分配了任务,各个工头完成后,需要任务合并怎么办……随着计算集群的扩充……是否还需要总-总工头,总工头上面又总工头……这样设计会越来越复杂和臃肿。实际上灵活运用工头工人组合机制就可以解决这个问题,组成计算集群模式不需要额外设计其他角色……通过上层工人调用下层工头方式集成其他并行计算单元的……每一个并行计算单元并不一定都是同一时期开发的,也不一定是同一套Java技术或者基于Fourinone计算框架开发的……我们可以在工人实现里面通过脚本调用方式启动它……这样就能实现新旧系统、将不同技术平台的历史遗留系统统一集成", 直接支撑本卡关于递归组合避免复杂度爆炸的结构图。 - 原始内容:通过这样的计算单元组件衔接的方式,我们可以横向扩充更多的“工头-工人”计算单元进来,也可以纵向延升到更高级的工头,工头上面集成更多的工头,组成一个大的计算集群。