知识卡片
调度与协调职责拆分
设计分布式并行计算系统时最自然想到的结构是master-slave:一台master分配任务、多台slave执行,master最后汇总结果。这个结构简单、容易实现,但作者指出它有一个容易被忽视的根本缺陷——master身上同时承担了两种性质完全不同的职责:任务调度(把工作分给谁做)和协同一致性(感知slave是否存活、维护成员关系等)。这两种职责被迫耦合在同一个角色上,导致master必须”一直存在”(因为协同职责要求持续在线感知集群状态),而这又和”任务调度”这个本可以按需启停的职责绑在了一起,master因此变成一个不能有任何闪失的脆弱单点。作者的解法是把这个单一master拆成四个各司其职的角色:包工头(Contractor,只负责分配任务和调度,是程序入口,运行完即可退出,不必是常驻服务)、工人(MigrantWorker,负责执行具体任务)、职介所(ParkServer,专门负责协同——工人注册登记、与工人保持松散心跳联系、把可用工人介绍给包工头)、手工仓库(WareHouse,一个通用的输入输出数据载体,让计算资源本身独立于包工头和工人这两个”角色”)。这个拆分带来一个关键的健壮性收益:职介所只在”介绍”这一步起作用,一旦包工头拿到工人列表开始干活,职介所若在介绍完成后中途宕机,已有工人与包工头之间的当前任务仍可继续;新任务发现和故障后的重新发现仍依赖协调服务。可迁移启发:当一个中心角色身上同时承担”临时性的任务分发”和”持续性的成员协同”两种职责时,先问自己这两种职责是否真的必须绑在一起——如果能拆分成”可按需启停的调度者”和”独立常驻的协同服务”,通常能降低调度者的复杂度,并缩小协调服务故障对已建立任务的影响范围。
结构图:
flowchart TB
A["master-slave(耦合结构)<br/>master=任务调度+协同一致性<br/>缺陷:master必须常驻,不能有任何故障"]
A --> B["拆分为四角色"]
B --> C["包工头(Contractor)<br/>只管调度,可按需启停"]
B --> D["工人(MigrantWorker)<br/>执行具体任务"]
B --> E["职介所(ParkServer)<br/>只管协同:登记/心跳/介绍<br/>介绍完成后宕机<br/>已建立任务可继续"]
B --> F["手工仓库(WareHouse)<br/>通用输入输出数据载体,独立于角色"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。