← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.8.b

九条数据架构原则

理解等级:中级

作者的原则参考了 AWS 架构完善框架六大支柱(卓越运营、安全、可靠性、性能效率、成本优化、可持续性)和 Google Cloud 云原生五原则(自动化设计、智能处理状态、青睐托管服务、纵深防御、始终架构设计),扩展为九条:明智选择通用组件、为失败做计划、可扩展性架构、架构是领导力、始终进行架构设计、构建松耦合系统、做出可逆决策、优先考虑安全、拥抱 FinOps。

1 明智选择通用组件:对象存储、版本控制、可观测性、监控、编排、处理引擎等可在全组织广泛使用的组件,选得好能促进协作、打破孤岛;要支持强大的权限与安全以便共享资产。云上计算与存储分离很适合采用通用组件(不同工具访问共享对象存储层)。但这是平衡:不能强迫工程师采用一刀切的方案而损害其解决领域问题的效率。

2 为失败做计划(Vogels:“一切都会失败”):用四个指标评估故障场景——

指标 含义
可用性 服务或组件处于可操作状态的时间百分比
可靠性 在指定时间内执行预期功能并满足标准的概率
RTO(恢复时间目标) 最长可接受中断时间,由故障对业务的影响决定:内部报表可容忍一天,在线零售五分钟就是重大损失
RPO(恢复点目标) 可接受的最大数据丢失

3 可扩展性架构:能放大应对峰值(训练 PB 级模型、流式获取的瞬时高峰),也能缩小以省钱,有些系统可以缩到零(无服务器函数、无服务器 OLAP)。但不合适的扩展策略会过于复杂昂贵——一个带故障转移节点的关系数据库可能比复杂集群更合适;测量当前负载、估计峰值和未来几年负载再决定;增长快于预期时,增长本身也会带来重构所需的资源。

4 架构是领导力:数据架构师技术能力高,但把大部分个人贡献工作委托出去;领导力不是命令-控制(强制所有团队用同一专有数据库会严重阻碍项目)。Fowler 描述的理想架构师最重要的活动是指导开发团队、提高其水平,而不是成为唯一决策者和瓶颈。

5 始终进行架构设计:理解基线架构(当前状态)、制定目标架构和排序计划;现代架构是协作敏捷的,目标架构是随业务和技术变化调整的移动目标,排序计划决定即时优先级。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第03章《第3章 设计好的数据架构》3.2 好的数据架构的原则;3.2.1~3.2.5(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0008.xhtml,来源项目 book-sources) - 结论依据:3.2节介绍AWS架构完善框架与谷歌云原生五原则并列出九条数据架构原则;3.2.1~3.2.5节分述通用组件的选择与平衡、可用性、可靠性、RTO、RPO与为失败做计划、可扩展到零及避免不必要的复杂扩展、架构是领导力与指导团队、始终进行架构设计。 - 原始内容:测量你当前的负载、估计负载峰值并估计未来几年的负载,以确定你的数据库架构是否合适。