知识卡片

原始数据优先

普通读书笔记卡 · 1783.d

内容

保存原始事实比只保存聚合结果更有弹性,因为新需求、错误修复和模型变化都可以从原始数据重新计算。聚合结果是可再生资产,原始事实才是系统长期价值的来源。

参考来源

- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第1章《大数据的新范式》"1.2.6 大数据技术是如何起到帮助作用的"与"1.4 基本原理"(源文件:_epub-src/OEBPS/Text/009.xhtml、_epub-src/OEBPS/Text/011.xhtml) - 结论依据:原文明确"不是存储页面浏览量作为核心数据集,而是要存储原始网页浏览信息……而原始网页浏览信息是从来不会改变的。所以当出现错误时,你可能会写入损坏的数据,但至少不会破坏良好的数据",并在1.4节把不可再派生的原始信息定义为"数据",说明保存原始事实比只保存聚合结果更有弹性。 - 原始内容:我们将了解的另一个核心技术是"使数据不可变",即不是存储页面浏览量作为核心数据集,而是要存储原始网页浏览信息。因为随着新页面浏览的传入,存储页面浏览量需要用户不断地改变数据集。而原始网页浏览信息是从来不会改变的。所以当出现错误时,你可能会写入损坏的数据,但至少不会破坏良好的数据。