← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.12.c

吞吐、可靠性与成本权衡

理解等级:中级

序列化:确保下游能反序列化收到的数据——作者见过数据成功获取,却因无法正确反序列化而在目标端处于惰性、不可用的状态。

吞吐量与可扩展性:理论上获取不应成为瓶颈,实践中却很常见。要设计可伸缩系统: - 上游故障恢复后会迅速回填积压数据,你的获取能否跟上突然涌入的大批量? - 数据很少匀速产生,系统要有内置缓冲收集高峰期事件、防止丢失,并在扩容时起桥梁作用; - 尽量用托管服务处理扩展,手工加服务器、分片、工作节点不会带来额外收益,反而可能引入错误。

可靠性与持久性:可靠性指高正常运行时间和适当故障转移;持久性指数据不丢失不损坏。物联网设备、缓存等源中的数据若没被正确获取就永远消失,此时获取系统的可靠性直接决定数据的持久性;而数据一旦被获取,下游中断只会延迟处理。

按风险建冗余:根据丢失数据的影响和成本建立冗余和自愈机制。可靠性有直接成本(云和人力)和间接成本(24 小时待命对团队的损耗)。一个 AWS 区域故障、整个地域故障、电网或互联网中断时你的获取还能继续吗?代价多少?不要假设能建一个在所有场景下都可靠持久的系统——互联网瘫痪时,地下掩体里的数据中心也获取不到数据。要持续评估成本与收益。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.2.4 序列化与反序列化;7.2.5 吞吐量与可扩展性;7.2.6 可靠性与持久性(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources) - 结论依据:7.2.4节强调确保下游能反序列化;7.2.5节讨论回填冲击、突发流量的缓冲和优先用托管服务扩展;7.2.6节说明可靠性与持久性的关系,主张按丢失影响与成本建立冗余,不追求所有场景下的绝对可靠。 - 原始内容:不要假设你能建立一个在所有可能的场景下都能可靠和持久地获取数据的系统。