知识卡片

普通读书笔记卡 · 1726.d.1.a.1.b.2

日志删减按用途选择

理解等级:中级

持续追加的日志需要回收旧记录。DistributedLog案例给出两种方式:

  • 精确截断:由调用方明确指定不再需要的位置,适合严格控制复制进度的数据库状态机。
  • 按时间过期:达到保留期限后自动清理,适合不要求精确位置控制的分析用途。

清理策略由读者追赶和恢复需求决定,不能只按存储成本设期限。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用架构·硅谷篇》第01章《Twitter高性能分布式日志系统架构解析》“Twitter如何基于Apache BookKeeper构建DistributeLog?”(源文件:OEBPS/text00000.html,`#nav_point_4`) - 结论依据:原文明确精确truncation用于需要控制位置的数据库复制状态机,时间自动过期用于不需严格位置控制的数据分析;最后一句为两种用途的工程推论。 - 原始内容:因为数据持续追加到日志中,我们提供两种方式删除日志。一种是精确的 truncation,对于数据库这样严格的复制状态机(replicated state machines)的应用场景,它们需要严格控制哪个位置之前的数据是不再需要的。另外一个是基于时间的自动过期,它适用于不需要严格控制的数据分析场景。