知识卡片

普通读书笔记卡 · 2280.h.1.a.7.b

批量获取是一扇单向门

理解等级:中级

源系统和获取是生命周期中最重要的瓶颈:源系统不在你控制之内,可能随机无响应或提供低质量数据;获取服务也可能莫名停止,导致数据流中断或不足,不可靠的源和获取会在整个生命周期产生连锁反应。获取阶段要问:数据用例是什么,能否复用而不是创建多个版本?是否可靠生成并在需要时可用?目的地在哪?访问频率与数据量?格式下游能否处理?源数据能否直接使用、能用多久?流式数据是否需要在途转换?

批处理与流处理:几乎所有数据本质上都是流——在源头不断产生和更新;批量获取只是把流按大块(如一整天)处理的专门而方便的方式。流式获取让数据在生成后很短时间内(如 1 秒内)可供下游使用,“实时”的阈值因领域而异。

批量获取按预定间隔或大小阈值触发,是一扇单向门:一旦把数据切成批次,下游消费者的延迟就有了固有下限。受遗留系统限制,批处理长期是默认方式,在分析和 ML 中仍很流行;而存储与计算分离、事件流平台普及,让流处理越来越容易。

选流处理前要问:

  • 实时获取时,下游存储能否承受数据流速率?
  • 需要毫秒级,还是每分钟一次的微批就够?
  • 流式的具体优势是什么,能对实时数据采取什么批处理做不到的行动?
  • 在时间、金钱、维护、停机和机会成本上是否比批处理更贵?
  • 基础设施故障时,流管道是否可靠冗余?
  • 用托管服务(Kinesis、Pub/Sub、Dataflow)还是自建 Kafka、Flink、Spark、Pulsar,谁来管?
  • 部署 ML 时,在线预测和持续训练有何好处?
  • 是否从生产实例实时获取,对源系统有何影响?

作者的结论:流处理必然带来额外成本与复杂性;批处理对模型训练、周报等很多常见用例是绝佳方法,只有在确认了值得放弃批处理的业务用例之后,才采用真正的实时流。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.1.4 获取(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources) - 结论依据:2.1.4节指出源系统与获取是最大瓶颈并列出获取阶段的关键问题,说明所有数据本质上是流、批量获取是限制下游延迟的单向门,列出选择流式获取前要问的问题,结论是确认业务用例后才采用真正的实时流。 - 原始内容:批量获取是一扇单向门:一旦数据被分成批次,下游消费者的延迟就会受到固有的限制。