知识卡片
数据质量前置
内容
字段命名、类型、单位、敏感信息和上下文传播若在入口处失控，后端分析会不断付利息。流水线把数据质量检查前置，可以在规模扩大前阻止观测语义分裂。
参考来源
- 位置：《可观测性工程》第18章《使用流水线进行遥测管理》"18.1.8 确保数据质量和一致性"一节（源文件：_epub-src/OEBPS/031.xhtml）
- 结论依据：原文以Candy Crush设备错误时间戳为例说明数据质量问题若不在流水线入口处理会污染整体数据，并说明"确保日志数据的架构，以确保预期数据存在且特定字段为特定类型"是流水线的核心职责之一。
- 原始内容：从应用程序收集的遥测数据可能存在数据质量问题……安装了Candy Crush的移动设备经常会报告一些未来的时间戳，因为用户手动更改了设备上的系统时间以获得游戏中的奖励。如果不能删除该数据，流水线应该提供一个替代位置来存储数据……确保日志数据的架构，以确保预期数据存在且特定字段为特定类型。