知识卡片
用底层设计审视选型
无论选什么技术,都要了解它如何支持生命周期的底层设计。
数据管理:第三方可能把合规、安全、隐私、质量和治理做得很好,但藏在有限的 UI 之后。评估时要问:如何防止内外部破坏?是否符合 GDPR、CCPA 等隐私法规?能否让我托管数据以满足法规?如何保证数据质量、我看到的数据是否正确?这些问题同样适用于开源方案。
DataOps:服务器会死、云区域会中断、错误代码可能把坏数据引入数仓。你对新部署代码有多少控制?出问题如何收到告警、如何处理?开源技术要自己负责监控、托管和部署,以及应急响应;托管产品的大部分操作不在你控制内,要看供应商的 SLA、告警方式,以及处理事故是否透明(包括给出预计恢复时间)。
数据架构:评估权衡、选最适合的工具、保持决策可逆;最佳工具是移动目标,主要目标是避免不必要的锁定、确保互操作、产生高 ROI。
编排(以 Airflow 为例):2014 年由 Maxime Beauchemin 在 Airbnb 发起,一开始就是非商业开源,2016 年进入 Apache 孵化,2019 年成为顶级项目。优势:项目非常活跃(高提交率、快速响应 bug 和安全问题,Airflow 2 大重构);心智份额巨大,社区活跃;可从 GCP、AWS、Astronomer 等获得托管服务。缺点:调度器和后端数据库等核心组件不可扩展,可能成为性能、规模和可靠性瓶颈;可扩展部分仍是分布式单体;缺乏模式管理、血缘、编目等数据原生结构;开发和测试工作流有难度。Prefect、Dagster 试图重新思考这些组件。
软件工程:努力简化和抽象整个技术栈,尽量购买或使用预构建的开源方案,消除重复繁重的工作是主要目标;把自定义编码集中在能带来稳固竞争优势的领域。手写生产库到云数仓的连接器是竞争优势吗?大概不是,已经有成百上千个连接器;客户为什么向你购买——也许是你支撑金融科技平台的特定算法,这才值得投入。
总结:现在可能是历史上评估和选择技术最混乱的时期;技术选择是用例、成本、构建与购买、模块化之间的平衡,要像对待架构一样评估权衡、以可逆决策为目标。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 根据数据生命周期选择技术 · 查看原书依据
消除重复的、繁重的工作应该是你的主要目标。