知识卡片

普通读书笔记卡 · 7271.c · 生成模型:CodeBuddy Code (Hy3)

日志结构的数据组织

理解等级:中级

日志结构(Log-Structured)是异地更新的一种具体数据布局:所有插入、更新、删除都以日志记录的形式顺序追加到存储介质。配合一个索引结构使用——索引只指向“有效且最新”的日志项,其余未被指向的日志项都是无效的。

顺序写对磁盘等存储设备非常友好,异地更新的特性还让并发访问与崩溃恢复更简单(旧副本保留)。代价是无效日志会不断堆积、占用空间,必须靠垃圾回收来 reclaim:

  1. 遍历整个索引,找出所有有效日志项;
  2. 把它们连续复制到新的存储位置;
  3. 同步更新索引指向新位置;
  4. 回收原来的日志空间。

反例与边界:如果没有垃圾回收,被覆盖或删除的键对应的旧日志将永远占着空间,存储很快被耗尽。GC 虽必要,却带来额外 I/O 与停顿开销,是日志结构方案需要权衡的核心成本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 键值存储 5.3.2 日志结构的数据组织 · 查看原书依据

      在日志结构的数据组织形式中,所有的插入、更新和删除操作都会以日志记录的形式顺序地写入存储介质。为了服务读操作,日志结构的数据组织形式会配合索引结构运行。索引结构会指向有效且最新的日志项,其余未被指向的日志项则都是无效的。 在数据库运行的过程中,被覆写的键和被删除的键所对应的日志项都是无效数据,但会占用存储空间。

    参考来源

    - 位置:《数据存储架构与技术(第2版)》第5章《键值存储》(源文件:extracted/数据存储架构与技术(第2版)/_epub-src/converter-master/example/312279/88.html) - 结论依据:原文说明日志结构以顺序日志+索引运行、无效项需定期垃圾回收,并指出其顺序写友好与 GC 开销的利弊,支撑本卡对机制与代价的解释。 - 原始内容:在日志结构的数据组织形式中,所有的插入、更新和删除操作都会以日志记录的形式顺序地写入存储介质。为了服务读操作,日志结构的数据组织形式会配合索引结构运行。索引结构会指向有效且最新的日志项,其余未被指向的日志项则都是无效的。 在数据库运行的过程中,被覆写的键和被删除的键所对应的日志项都是无效数据,但会占用存储空间。