返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 1784

事实不可变

理解等级:未标注

核心记录可建成带时间的不可变事实:正常业务变化通过追加新事实表达,保留旧时刻发生过什么。这样既能查询历史,也能重算派生视图。

不可变不等于错误永远不能清除。书中的纠错方式是谨慎过滤错误事实,再重新计算;保留策略或法规也可能要求删除。特殊删除应先构造过滤后的副本、验证后替换,避免直接破坏正确事实。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      修复数据系统只是删除损坏的数据单元,并重新计算由主数据集生成的视图。

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第2章《大数据的数据模型》"2.1.2 数据是不可变的"一节(源文件:_epub-src/OEBPS/Text/020.xhtml) - 结论依据:原文明确"就不变性来说,你不会更新或删除数据,你只是添加更多的数据",并说明容错优势:"对于可变的数据模型,一个错误会导致数据的丢失,因为在数据库中,值会被覆盖掉;而对于不可变的数据模型,没有数据会丢失……修复数据系统只是删除损坏的数据单元,并重新计算由主数据集生成的视图"。 - 原始内容:就不变性来说,你不会更新或删除数据,你只是添加更多的数据……通过对大数据系统使用不可变模式,你将获得两个至关重要的优势:……容忍人为错误——……对于不可变的数据模型,没有数据会丢失。如果写入坏数据,更早些(好)的数据单元仍然存在。修复数据系统只是删除损坏的数据单元,并重新计算由主数据集生成的视图。