知识卡片

普通读书笔记卡 · 2280.h.1.a.12.b

同步管道失败全量重跑

理解等级:中级

同步获取:数据源、获取过程和写入目标紧密耦合——过程 A 失败则 B、C 都不能启动,B 失败则 C 不能启动。这在旧式 ETL 中很常见:批次全部获取完下游才能开始,任一步骤失败整个过程都要重跑。

反面案例:某公司的转换过程是一串紧密耦合的同步工作流,完整跑一次超过 24 小时,任何一步失败都要从头开始。一次因未知问题失败后,修复整个管道变成持续一周的“打地鼠”游戏,这期间企业无法更新业务报表,引起管理层不满。

异步获取:依赖关系下沉到单个事件层面,像微服务后端一样,事件一旦被获取就在存储中可用。AWS 示例:Web 应用把事件写入 Kinesis Data Stream(作为缓冲)→ Apache Beam 解析和扩充 → 写入第二个 Kinesis 流 → Kinesis Data Firehose 聚合写入 S3。

异步的好处:只要满足触发条件,管道每个阶段都能并行处理数据,处理速率取决于可用资源;流作为缓冲器调节负载,避免事件速率过高冲击下游;负载低且无积压时,新事件会快速流过管道。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.2.3 同步获取与异步获取(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources) - 结论依据:7.2.3节对比同步获取(紧耦合、失败需整体重跑)与异步获取(事件级依赖、并行处理、流作缓冲),并给出一个24小时同步转换失败后修复一周的反面案例。 - 原始内容:如果该转换管道有任何一个步骤失败,那么整个转换过程必须从头开始!