知识卡片
排序与内存聚合
统计最受欢迎的 URL,可以用 Unix 管道排序计数,也可以用脚本在内存哈希表中计数,策略截然不同。哈希表方案取决于工作集:不同 URL 能装进内存就很快,超出内存就失效。排序方案能高效利用磁盘:数据块在内存中排好后写成段文件,再把有序段合并,这与[[SSTable的排序收益]]原理相同。GNU sort 能自动溢写到磁盘并利用多核并行,简陋的命令链因此能处理远超内存的数据集。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十章:批处理
原书出处 · 1 处
- 第十章:批处理 · 查看原书依据
GNU Coreutils(Linux)中的sort程序通过溢出至磁盘的方式来自动应对大于内存的数据集
参考来源
- 位置:《数据密集型应用系统设计》第十章《批处理》"简单日志分析""排序 VS 内存中的聚合"(源文件:_epub-src/ch10_split_002.html)
- 结论依据:原文对比Unix管道的排序方案与Ruby脚本的内存哈希表方案,指出前者依赖工作集大小、后者依赖磁盘顺序I/O,并说明GNU sort能自动溢出磁盘并行排序,直接支撑本卡片结论。
- 原始内容:Ruby脚本在内存中保存了一个URL的哈希表……如果作业的工作集大于可用内存,则排序方法的优点是可以高效地使用磁盘……GNU Coreutils(Linux)中的sort程序通过溢出至磁盘的方式来自动应对大于内存的数据集