知识卡片
分阶段调度明确交接状态
原书Otter把同步流程分为Select、Extract、Transform与Load,阶段管理执行线程,调度器通过协调节点交接任务。每一阶段的请求节点表达待处理工作,完成后转交下一阶段;外部处理与节点删除之间的失败窗口仍需恢复语义。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 典型应用场景
原书出处 · 1 处
- 大型分布式系统中的应用 · 查看原书依据
具体分为四个阶段(Stage)。 · Select:数据接入。 · Extract:数据提取。 · Transform:数据转换。 · Load:数据载入。 其中 Select 阶段是为了解决数据来源的差异性,比如可以接入来自 Canal 的增量数据,也可以接入其他系统的数据源。Extract/Transform/Load 阶段则类似于数据仓库的 ETL模型
参考来源
- 位置:《从Paxos到Zookeeper:分布式一致性原理与实践》第06章《大型分布式系统中的应用》(来源项目book-sources;源文件:extracted/从Paxos到Zookeeper:分布式一致性原理与实践/_epub-src/OEBPS/Text/Secti0012.xhtml)
- 结论依据:原文在“具体分为四个阶段(Stage)”附近的定义、步骤或案例支撑本卡机制:原书Otter把同步流程分为Select、Extract、Transform与Load,阶段管理执行线程,调度器通过协调节点交接任务。边界说明区分原书机制与适用条件,不把历史实现当作当前系统的无条件保证。
- 原始内容:具体分为四个阶段(Stage)。 · Select:数据接入。 · Extract:数据提取。 · Transform:数据转换。 · Load:数据载入。 其中 Select 阶段是为了解决数据来源的差异性,比如可以接入来自 Canal 的增量数据,也可以接入其他系统的数据源。Extract/Transform/Load 阶段则类似于数据仓库的 ETL模型