知识卡片

普通读书笔记卡 · 2280.h.1.a.9.j

用底层设计审视选型

理解等级:中级

无论选什么技术,都要了解它如何支持生命周期的底层设计。

数据管理:第三方可能把合规、安全、隐私、质量和治理做得很好,但藏在有限的 UI 之后。评估时要问:如何防止内外部破坏?是否符合 GDPR、CCPA 等隐私法规?能否让我托管数据以满足法规?如何保证数据质量、我看到的数据是否正确?这些问题同样适用于开源方案。

DataOps:服务器会死、云区域会中断、错误代码可能把坏数据引入数仓。你对新部署代码有多少控制?出问题如何收到告警、如何处理?开源技术要自己负责监控、托管和部署,以及应急响应;托管产品的大部分操作不在你控制内,要看供应商的 SLA、告警方式,以及处理事故是否透明(包括给出预计恢复时间)。

数据架构:评估权衡、选最适合的工具、保持决策可逆;最佳工具是移动目标,主要目标是避免不必要的锁定、确保互操作、产生高 ROI。

编排(以 Airflow 为例):2014 年由 Maxime Beauchemin 在 Airbnb 发起,一开始就是非商业开源,2016 年进入 Apache 孵化,2019 年成为顶级项目。优势:项目非常活跃(高提交率、快速响应 bug 和安全问题,Airflow 2 大重构);心智份额巨大,社区活跃;可从 GCP、AWS、Astronomer 等获得托管服务。缺点:调度器和后端数据库等核心组件不可扩展,可能成为性能、规模和可靠性瓶颈;可扩展部分仍是分布式单体;缺乏模式管理、血缘、编目等数据原生结构;开发和测试工作流有难度。Prefect、Dagster 试图重新思考这些组件。

软件工程:努力简化和抽象整个技术栈,尽量购买或使用预构建的开源方案,消除重复繁重的工作是主要目标;把自定义编码集中在能带来稳固竞争优势的领域。手写生产库到云数仓的连接器是竞争优势吗?大概不是,已经有成百上千个连接器;客户为什么向你购买——也许是你支撑金融科技平台的特定算法,这才值得投入。

总结:现在可能是历史上评估和选择技术最混乱的时期;技术选择是用例、成本、构建与购买、模块化之间的平衡,要像对待架构一样评估权衡、以可逆决策为目标。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第04章《第4章 根据数据生命周期选择技术》4.11 底层设计及其对技术选择的影响;4.12 总结(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0009.xhtml,来源项目 book-sources) - 结论依据:4.11节从数据管理(向供应商提的问题)、DataOps(控制、告警与SLA)、数据架构(避免锁定与互操作)、编排(Airflow的历史、优势与缺点及竞争者)、软件工程(消除重复工作、聚焦竞争优势)五方面说明底层设计对选型的影响;4.12节总结技术选择是多因素平衡、以可逆决策为目标。 - 原始内容:消除重复的、繁重的工作应该是你的主要目标。