← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.12.a

设计获取前的八问

理解等级:初级

设计获取系统前先回答: 1. 获取的数据有什么用? 2. 能否复用,避免获取同一数据集的多个版本? 3. 数据去哪里,目标存储是什么? 4. 多久从源头更新一次? 5. 预期数据量多大? 6. 什么格式,下游存储和转换能否接受? 7. 数据质量是否足够让下游直接使用?需要什么后续处理?有哪些风险(如机器人访问污染网站数据)? 8. 若来自流,是否需要快速处理?

设计时要考虑的维度:有边界与无边界、频率、同步与异步、序列化与反序列化、吞吐量与可扩展性、可靠性与持久性、有效负载、推送/拉取/轮询。

所有数据在有边界之前都是无边界的:在大多数业务中,数据像网上零售的交易一样 24 小时持续产生。业务流程长期通过切割离散批次给数据施加人为限制;流式获取是保持数据无边界性的工具,让后续步骤也能连续处理。

频率:从每年一次(向会计公司发税务数据)到每分钟的 CDC、再到秒级的物联网事件,一家公司内往往混合多种频率。没有真正的“实时”,只有近实时。数据工程师很少能建一个没有批处理组件的纯实时管道——多数 ML 模型仍按批训练;一旦选择批处理,处理频率就成为所有下游处理的瓶颈。物联网和事件驱动应用则天然适合直接写入 Kafka、Kinesis 等流平台,流式架构通常与批处理共存。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.2 数据获取阶段的关键工程考虑因素;7.2.1 有边界与无边界数据;7.2.2 频率(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources) - 结论依据:7.2节列出设计获取系统时需回答的八个问题和八个设计维度;7.2.1节说明数据本质上无边界、流式获取保持无边界性;7.2.2节讨论获取频率谱系、近实时的含义和批处理频率成为下游瓶颈。 - 原始内容:一旦选择批处理,处理频率就会成为所有下游处理的瓶颈。