知识卡片

普通读书笔记卡 · 2280.h.1.a.13.c

三种提交模型对比

理解等级:高级

提交是数据库中的一次变更。事务让多个操作以保持一致状态的方式同时提交,并处理并发读写删的隔离问题;没有事务,查询可能得到不一致的信息。要确认你的数据库是否以符合 ACID 的方式处理写入和更新,否则可能出现脏读(读取一行时另一个未提交事务改变了它)——这是预期行为吗?如果是,你如何处理?

三个数据库的提交模型: | | 模型 | 优点 | 代价 | |—|—|—|—| | PostgreSQL | ACID 事务,操作包要么全成功要么全失败,分析查询看到某一时间点的一致状态 | 一致性强 | 需要行锁,常降低性能;不适合大规模扫描分析 | | BigQuery | 时间点全表提交:读查询只读开始时最新提交的快照,不锁表;后续写入生成新快照 | 读不受写影响 | 一次只允许一个写操作,并发写按到达顺序排队(单个写查询内部可高度并行);Snowflake、Spark 类似 | | MongoDB | 可变一致性,库级和查询级可配置 | 极高的可扩展性和写入并发 | 某些模式下写入流量过大时会不通知地丢弃部分写入——适合能容忍丢数据的物联网测量,不适合需要精确数据和统计的应用 |

这并不是说它们是坏数据库,用在恰当场景并正确配置都很棒。工程师不只是写代码的人:要深刻理解提交、一致性模型和技术性能的方方面面,恰当的选型和配置是项目成功的关键。

另外,有些数据库在更新删除时创建新文件代表新状态、保留旧文件作检查点,大量小提交会消耗大量存储、产生杂乱文件,需要定期清理。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.1.4 优化查询性能(了解你的数据库如何处理提交)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources) - 结论依据:8.1.4节说明事务与脏读,并对比PostgreSQL的ACID与行锁、BigQuery的时间点快照与单写入、MongoDB可配置一致性与高写入下静默丢弃写入,强调工程师需理解提交与一致性模型。 - 原始内容:但代价是如果数据库写入流量过大,它会在没有通知的情况下放弃部分写入。