知识卡片
Workflow的MVC分工
Google 的 Workflow 是持续性数据处理系统,可类比 MVC:模型由“主任务”持有,在内存中保存全部任务状态并同步写日志,通常只存指向数据的指针,真实数据放在存储系统中;视图是工作进程,不断向主任务报告状态,完全无状态、可随时丢弃;控制器可选,负责实时伸缩、快照、回滚或紧急停止。工作进程可按阶段分组,加深流水线,并保证每个工作单元恰好处理一次。发散:状态集中、执行者无状态,可伸缩又可恢复。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第25章 数据处理流水线 · 查看原书依据
Workflow采用了这个模式,模型(Model)由一个被称为“主任务”的进程持有。主任务使用流式系统模式将所有的任务状态保存在内存中,同时同步地将每一次修改以日志方式记录在持久化磁盘上。视图(View)是那些作为整个流水线子组件,不断向主任务更新它们所见的系统状态的工作进程。虽然整个流水线的全部数据可以保存在主任务中,但是为了获取更好的系统性能,主任务通常只会保存具体工作的指针,而真正的输入和输出数据会保存在一个常见的文件系统或者其他存储系统中。根据这个比喻,工作进程是完全无状态的,可以在任一时间被抛弃。控制器(Controller)是可选的,可以加入进来支持一系列的辅助活动,比如对流水线的实时伸缩,对状态的快照,以及工作周期的管理,回滚流水线的状态,甚至是在紧急时刻负责停止一切系统行为。图25-5 描述了这种设计模式。
参考来源
- 位置:《SRE:Google运维解密》第25章《数据处理流水线》(源文件:`_epub-src/OEBPS/Text/0009_0016.xhtml`)
- 结论依据:原文用 MVC 类比说明 Workflow 中主任务、工作进程与控制器的分工,以及按阶段划分工作进程和“仅运行一次”的保证。
- 原始内容:根据这个比喻,工作进程是完全无状态的,可以在任一时间被抛弃。