返回主题:批处理作业的写法:连接、聚合与作业抽象

知识卡片

普通读书笔记卡 · 2280.q.1

排序与内存聚合

理解等级:未标注

统计最受欢迎的 URL,可以用 Unix 管道排序计数,也可以用脚本在内存哈希表中计数,策略截然不同。哈希表方案取决于工作集:不同 URL 能装进内存就很快,超出内存就失效。排序方案能高效利用磁盘:数据块在内存中排好后写成段文件,再把有序段合并,这与[[SSTable的排序收益]]原理相同。GNU sort 能自动溢写到磁盘并利用多核并行,简陋的命令链因此能处理远超内存的数据集。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十章《批处理》"简单日志分析""排序 VS 内存中的聚合"(源文件:_epub-src/ch10_split_002.html) - 结论依据:原文对比Unix管道的排序方案与Ruby脚本的内存哈希表方案,指出前者依赖工作集大小、后者依赖磁盘顺序I/O,并说明GNU sort能自动溢出磁盘并行排序,直接支撑本卡片结论。 - 原始内容:Ruby脚本在内存中保存了一个URL的哈希表……如果作业的工作集大于可用内存,则排序方法的优点是可以高效地使用磁盘……GNU Coreutils(Linux)中的sort程序通过溢出至磁盘的方式来自动应对大于内存的数据集