知识卡片

普通读书笔记卡 · 5304.a.2

阶段间隔假设会被增长打破

理解等级:高级

2012 年 Google Music 的隐私删除流水线误删约 60 万个音频文件,影响约 2.1 万用户,一个多月后才被用户发现。根源是:为降压,删除流水线的两个阶段被设计为严格隔离、间隔 3 小时,第二阶段因此简化;数据量增长后各阶段变慢,时间假设失效,出现数据竞争,后来的性能优化和重构又不断提高其概率。事后重新设计消除了竞争,并加强对大规模删除的监控。发散:靠“时间够用”成立的正确性,会被增长悄悄破坏。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第26章 数据完整性:读写一致 · 查看原书依据

      例如,该任务两个阶段被设计成严格隔离的,运行时间相隔3个小时。这样第二阶段的代码可以大幅度简化某些逻辑,否则这个阶段的处理逻辑可能很难并行化。但是随着数据量的增长,每个阶段需要更多时间才能完成。最终,当初设计时候的某些假设,在这个新条件下就不再成立了。

    参考来源

    - 位置:《SRE:Google运维解密》第26章《数据完整性:读写一致》(源文件:`_epub-src/OEBPS/Text/0009_0017.xhtml`) - 结论依据:原文分析 Google Music 删除流水线的数据竞争根源:阶段隔离的时间假设随数据增长失效,优化与重构放大了竞争概率。 - 原始内容:但是随着数据量的增长,每个阶段需要更多时间才能完成。最终,当初设计时候的某些假设,在这个新条件下就不再成立了。