知识卡片
原始数据优先
内容
保存原始事实比只保存聚合结果更有弹性,因为新需求、错误修复和模型变化都可以从原始数据重新计算。聚合结果是可再生资产,原始事实才是系统长期价值的来源。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第1章《大数据的新范式》"1.2.6 大数据技术是如何起到帮助作用的"与"1.4 基本原理"(源文件:_epub-src/OEBPS/Text/009.xhtml、_epub-src/OEBPS/Text/011.xhtml)
- 结论依据:原文明确"不是存储页面浏览量作为核心数据集,而是要存储原始网页浏览信息……而原始网页浏览信息是从来不会改变的。所以当出现错误时,你可能会写入损坏的数据,但至少不会破坏良好的数据",并在1.4节把不可再派生的原始信息定义为"数据",说明保存原始事实比只保存聚合结果更有弹性。
- 原始内容:我们将了解的另一个核心技术是"使数据不可变",即不是存储页面浏览量作为核心数据集,而是要存储原始网页浏览信息。因为随着新页面浏览的传入,存储页面浏览量需要用户不断地改变数据集。而原始网页浏览信息是从来不会改变的。所以当出现错误时,你可能会写入损坏的数据,但至少不会破坏良好的数据。