知识卡片
负载分型优化
分布式日志有三类负载:写入追加记录,尾读获取最新记录,追赶读从较早位置恢复进度。前两者重延迟,追赶读重吞吐。
在Twitter的流处理重启案例中,追赶读造成大量文件扫描和预读,可能挤掉页缓存中的最新数据,使写入与尾读变慢。设计读路径时要按负载区分资源需求,不能只测平均吞吐。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用架构·硅谷篇》第01章《Twitter高性能分布式日志系统架构解析》“Twitter如何考虑这个问题?”(源文件:OEBPS/text00000.html,`#nav_point_3`)
- 结论依据:原文定义writes、tailing reads和catch-up reads,并分别指出延迟或吞吐重点;重启流式计算topology的追赶读是作者给出的页缓存竞争案例。
- 原始内容:Writes 和 tailing reads 在意的是延时 (latency),因为它关系到一个消息能多快地从被写入到被读到。而 catch-up reads 在意的则是高吞吐量,因为它关系到是否能追赶到日志的尾部。