知识卡片
日志删减按用途选择
持续追加的日志需要回收旧记录。DistributedLog案例给出两种方式:
- 精确截断:由调用方明确指定不再需要的位置,适合严格控制复制进度的数据库状态机。
- 按时间过期:达到保留期限后自动清理,适合不要求精确位置控制的分析用途。
清理策略由读者追赶和恢复需求决定,不能只按存储成本设期限。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用架构·硅谷篇》第01章《Twitter高性能分布式日志系统架构解析》“Twitter如何基于Apache BookKeeper构建DistributeLog?”(源文件:OEBPS/text00000.html,`#nav_point_4`)
- 结论依据:原文明确精确truncation用于需要控制位置的数据库复制状态机,时间自动过期用于不需严格位置控制的数据分析;最后一句为两种用途的工程推论。
- 原始内容:因为数据持续追加到日志中,我们提供两种方式删除日志。一种是精确的 truncation,对于数据库这样严格的复制状态机(replicated state machines)的应用场景,它们需要严格控制哪个位置之前的数据是不再需要的。另外一个是基于时间的自动过期,它适用于不需要严格控制的数据分析场景。