知识卡片
顺序追加与批量化减少随机开销
日志追加把许多随机写转成连续写,并可通过批量请求减少每条记录固定开销;读取也可利用页缓存和顺序访问。收益取决于工作集、存储介质、批量大小与耐久配置,不是磁盘普遍快过内存。原书SATA速度与倍数是历史说明,不能当作当前设备基准。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式通信 · 查看原书依据
Kafka能够高效处理大批量消息的一个重要原因就是将读/写操作尽可能转换为顺序读/写,比如类似于Log文件方式的文件尾部追加写。另外,Kafka涉及将文件内容通过网络进行传输,为了提升效率,Kafka采用了Linux操作系统的SendFile调用。为了理解SendFile为何是高效的,首先我们需要了解正常情况下将文件内容通过网络传输所经过的数据通道。
参考来源
- 位置:《大数据日知录:架构与算法》6(源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00011.html)
- 结论依据:本章实际原文及必要原图;产品与性能描述保留2014年版本范围。校正的官方入口及实际阅读范围见50-root-official.json。
- 原始内容:Kafka能够高效处理大批量消息的一个重要原因就是将读/写操作尽可能转换为顺序读/写,比如类似于Log文件方式的文件尾部追加写。另外,Kafka涉及将文件内容通过网络进行传输,为了提升效率,Kafka采用了Linux操作系统的SendFile调用。为了理解SendFile为何是高效的,首先我们需要了解正常情况下将文件内容通过网络传输所经过的数据通道。