原书出处
SRE:Google运维解密
26 第26章 数据完整性:读写一致
保持初学者的心态 大规模部署的、复杂的服务中会产生很多无法完全被理解的Bug。永远不要认为自己对系统已经足够了解,也不要轻易将某些失败场景定性为不可能。我们可以通过“信任仍要验证”、“纵深防御”等手段来保护自己。(注意,这里可不是说让一个初学者来管理上文说的那个数据删除流水线!) 信任但要验证 我们依赖的任何API都不可能一直完美工作。不管测试有多么复杂,工程质量有多么高,API都一定会存在某些问题。应该通过使用带外数据检测器来检查数据最关键、最核心的部分,哪怕API语义中说明了这些问题不存在。要记住,完美的理论不代表实现也是完美的。 不要一厢情愿 不经常使用的系统组件一定会在你最需要的时候出现故障。数据恢复计划必须通过经常性的演习来保障可用性。由于人类天生不适合持续性、重复性地进行测试活动,自动化手段是必备的。然而,如果没有专人负责数据问题,而是让有其他工作的工程师兼职来弄,那么中间一定会出现问题。 纵深防御 就算是最安全的系统也会受到实现中的Bug,以及操作错误的影响。保障数据完整性问题能够及时恢复的重要条件是能够很快检测到问题的存在。在一个不断变化的环境中,每个策略都可能失败。最好的数据完整性保障手段一定是多层的—多个保障手段彼此覆盖,能够用合理的成本来覆盖非常广泛的失败场景。 定期重新检查和重新审核 数据今天是安全的,并不意味着明天还是安全的。你的服务,甚至基础设施都在不停地变动,我们必须要验证之前的假设和流程在新的环境下仍然适用。例如下面这个例子: 前文提到的莎士比亚服务反响很好,用户群在稳定增长。在服务构建之初,没有真正关注过数据完整性问题。因为虽然我们不想返回错误结果,但是就算Bigtable上面的索引丢失,我们也可以很快地用一个MapReduce任务恢复。整个恢复时间很短,所以我们从来也没有备份过索引。 后来,团队新增了一个功能——允许用户增加文字标记。突然之间,我们的数据再也无法被迅速恢复了,而数据对用户来说也变得越来越重要。因此,我们需要重新审视我们的复制策略——不光是为了延时和带宽,现在数据安全性也很重要了。因此,我们需要创建和测试一套数据备份与恢复的流程。这套机制作为DiRT演习的一部分要持续测试,以保障我们可以在SLO规定的时间内将用户的信息从备份中恢复。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/SRE:Google运维解密/_epub-src/OEBPS/Text/0009_0017.xhtml
EPUB SHA-256:5bd7e1e6474442d93354f1f13578bcb59c445e0dc7e54fa052cdc95f5f3e439c