知识卡片

普通读书笔记卡 · 1647.a

陈旧数据好过错误数据

理解等级:中级

两大常见故障:数据延迟和数据损坏。Google 在中断和 SLO 违反时跟踪 MTTD 和 MTTR,并在事后分析中寻找模式。

数据延迟:输入或输出延迟可能让下游作业在没有所需数据时就开始运行。陈旧的数据几乎总是比错误的数据好——处理不完整或损坏的数据会把错误传播到下游,恢复和重处理需要时间并延长中断;而管道停下来等数据、到齐后再继续,数据质量就能保持。所以要建立所有阶段都遵守的数据依赖。批处理管道每个阶段等前一个完成;流式系统更灵活——用事件时间处理(如 Dataflow),下游可在对应的上游部分完成后立即开始。中断时可能要通知相关服务,用户可见时要通知客户;调试时,查看当前和历史运行进度、直接链接到日志和数据流图、在分析计数器时跟踪工作单元都很有帮助。

数据损坏:软件 bug、数据不兼容、区域不可用、配置错误都可能导致。可以通过适当测试和提示可能损坏的逻辑规避许多面向用户的问题(如阻止策略、滥用/垃圾检测,过滤坏数据源)。修复分两步:阻止更多损坏数据进入系统;从之前的正确版本恢复,或重处理。单个区域提供损坏数据时,把服务或处理从该区域引流;软件或配置问题要快速回滚。为降低重处理成本,可以选择性重处理(只处理受影响的用户或账户),或保留中间数据作为检查点。即使测试和发布实践最好,也要为此做准备——这类恢复劳动密集且难以自动化。

潜在原因: - 依赖:存储、网络等可能限流,或资源不足拒绝新数据;输出端拒绝写入、某段热点数据无法完成、存储错误——有些问题自己解决不了,要提工单并留出时间加资源或调整流量模式;负载均衡和丢弃低优先级数据可减轻影响; - 应用或配置(最常见):瓶颈、作业 bug、配置错误(CPU 密集、性能回归、内存不足、易形成热点的滥用数据、指向错误的输入/输出位置)——回滚二进制或配置、选择性打补丁、修权限,或重组问题数据;上线前在非生产环境确认; - 意外的资源增长:自动扩缩能应对新负载,但也会给下游依赖施压(存储、网络);熟悉申请紧急资源的流程(可能耗时很长),并准备临时方案,如按数据类别排优先级; - 区域中断:单宿主管道会停到区域恢复;有自动故障转移的多宿主管道只需引流;区域宕机时数据可能搁浅或延迟,导致输出不正确,影响下游作业和服务的正确性。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第13章《第13章 数据处理管道》13 管道故障:预防和应对(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/19.html,来源项目 book-sources) - 结论依据:第13章管道故障一节说明数据延迟与数据损坏两类故障,主张陈旧数据好过错误数据、管道应等待数据到齐,给出阻止损坏扩散、回滚、选择性重处理等修复步骤,并分析依赖、应用或配置(最常见)、意外资源增长、区域中断四类原因及应对。 - 原始内容:陈旧的数据几乎总是比错误的数据要好。