知识卡片

普通读书笔记卡 · 2280.r.11.a

写入形式与读取视图分离

理解等级:高级

状态是事件流的积分:当前可用座位是已处理预订的结果,账户余额是借贷的结果。可变状态和不可变事件的仅追加日志不矛盾,而是一体两面。Pat Helland 的说法是:日志才是真相,数据库是日志子集的缓存——缓存的恰好是每条记录与索引值的最新值。会计几百年来就这样做:分类账只追加,错误交易不删除,而是追加一笔补偿交易,利润、资产负债表都从分类账求和衍生。

从同一事件日志派生多个视图:把可变状态从不可变日志中分离出来后,可以针对不同读取方式衍生多种表示(Druid 直接从 Kafka 摄取,Pistachio 以 Kafka 为提交日志,Kafka Connect 把数据导出到各种数据库与索引)。好处:

  • 引入新功能、以新方式表示现有数据时,可以从事件日志构建一个单独的、针对新功能的读优化视图,与现有系统并存;并行运行新旧系统通常比在现有系统中做复杂模式迁移容易,旧系统不再需要时直接关闭;
  • 模式设计、索引、存储引擎的许多复杂性都来自要支持特定查询;把写入形式与读取形式分开,允许多个读视图,就获得很大灵活性——即命令查询责任分离(CQRS);
  • 传统做法基于一个谬论:数据必须以与查询相同的形式写入。一旦能把写优化的事件日志转换成读优化的状态,规范化与非规范化之争就变得无关紧要——读视图中非规范化完全合理,因为转换过程保证它与日志一致(推特主页时间线就是例子)。

并发控制的两面:

  • 缺点:日志消费者通常是异步的,用户写入后读视图可能还没反映,需要“读己之写”类方案;要同步更新读视图,就得把日志与视图放在同一存储里用事务,或跨系统做分布式事务,或用全序广播实现线性一致存储的方法;
  • 优点:很多多对象事务的需求来自一个用户操作要改多处数据;事件溯源可以把一个用户操作设计成一个自包含事件,只需一次追加写入,容易原子化;若事件日志与应用状态按相同方式分区,单线程消费者处理一个分区就无需写入并发控制——日志在分区内定义了事件顺序,消除了并发的不确定性。
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第11章《第十一章:流处理》状态、流和不变性·从同一事件日志中派生多个视图;并发控制(源文件:extracted/数据密集型应用系统设计/_epub-src/ch11_split_003.html,来源项目 book-sources) - 结论依据:第十一章“状态、流和不变性”以积分比喻和Pat Helland的论述说明状态与事件日志的关系及会计分类账的不可变实践;“从同一事件日志中派生多个视图”说明新旧视图并存、CQRS与规范化之争失去意义;“并发控制”说明异步视图的读己之写问题与同步更新代价,以及自包含事件与按分区单线程消费简化并发控制。 - 原始内容:数据库和模式设计的传统方法是基于这样一种谬论,数据必须以与查询相同的形式写入。