知识卡片
记录系统与衍生数据
前两部分都假定应用只用一种数据库;现实中大型应用要以多种方式访问和处理数据,没有一个数据库能同时满足所有需求,于是组合使用数据存储、索引、缓存、分析系统等,并实现在它们之间移动数据的机制。作者认为集成不同系统是实际应用中最重要的事情之一,而软件供应商常忽略这一点,声称自己的产品能满足所有需求。
存储和处理数据的系统从高层看分两类:
| 类别 | 含义 | 特征 |
|---|---|---|
| 记录系统(真相源) | 持有数据的权威版本,新数据(如用户输入)首先记录在这里 | 每个事实恰好表示一次,通常是规范化的;与其他系统有差异时,按定义以它为准 |
| 衍生数据系统 | 对另一系统中已有数据转换或处理的结果,丢失后可从原始来源重新创建 | 缓存、非规范化的值、索引、物化视图、从用户日志衍生的推荐预测汇总;通常非规范化 |
衍生数据在技术上是冗余的,但对获得良好的只读查询性能往往至关重要;同一个源头可以衍生出多个数据集,从不同“视角”洞察数据。
关键点:大多数数据库、存储引擎和查询语言本质上既不是记录系统也不是衍生系统——数据库只是工具,区别不在工具,而在应用中的使用方式。并非所有系统都在架构中明确区分两者,但这种区分很有用:它明确了数据流——哪部分有哪些输入和输出、彼此如何依赖。梳理数据的衍生关系,可以把一个令人困惑的系统架构理清楚,这也是第三部分(批处理、流处理、数据系统的未来)贯穿始终的视角。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第三部分:衍生数据 · 查看原书依据
记录系统和衍生数据系统之间的区别不在于工具,而在于应用程序中的使用方式。
参考来源
- 位置:《数据密集型应用系统设计》第00章《第三部分:衍生数据》第三部分:衍生数据·记录系统和衍生数据系统(源文件:extracted/数据密集型应用系统设计/_epub-src/part-iii_split_002.html,来源项目 book-sources)
- 结论依据:第三部分导言说明现实应用需要组合多种数据系统、集成是最重要的事情之一;“记录系统和衍生数据系统”定义两类系统,指出衍生数据冗余但对读性能关键,强调区别在于使用方式而非工具,并以梳理衍生关系理解架构。
- 原始内容:记录系统和衍生数据系统之间的区别不在于工具,而在于应用程序中的使用方式。