返回主题:批处理作业的写法:连接、聚合与作业抽象

知识卡片

结构图卡

外部排序分类粒度

理解等级:未标注

本例有4台机器、每台2500万整数,共1亿。每台先按全局取值范围写出分类文件;相同区间的4份文件汇集到负责该区间的机器,再分别排序并按区间顺序拼接。内存约束应施加在汇总后的完整区间,不能用单机分类文件的大小代替:假设均匀分布,4/8/16个全局区间分别约有2500万/1250万/625万个整数。因此,在“一次最多排序625万”的假设下,只有16类的估算值刚好达到上限。实际还须检查偏斜和排序内存开销,不能仅凭均匀期望值保证装得下。分类增多会降低单桶容量,同时增加文件碎片、传输与读写成本;书中单机4工人演示的4类约37秒、8类约43秒,仅说明该演示配置中的取舍,不能证明16类性能或真实多机网络耗时。书中抽查每桶前100个值,也不足以单独证明全量有序及无丢重。

结构图:

flowchart TB
  A["4台各2500万,合计1亿"] --> B["各机按相同值域分类"]
  B --> C["汇集同一值域的4份文件"]
  C --> D["排序每个完整区间"]
  D --> E["按区间顺序拼接并做全量校验"]
  N["全局区间数"] --> N4["4类:每个约2500万"]
  N --> N8["8类:每个约1250万"]
  N --> N16["16类:每个约625万"]
  N16 --> M["仍须检查偏斜与实际内存"]
  N --> O["类越多,文件/传输/IO开销可能上升"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大规模分布式系统架构与设计实战》第6章《分布式文件系统的实现》之"6.11 基于整型读写的上亿排序"(源文件:_epub-src/OEBPS/text00072.html) - 结论依据:原文说明4类合并后每类约2500万,8类合并后每类约1250万,16类合并后每类约625万;并提醒分类数与传输耗时权衡。偏斜、内存裕量及全量校验是据该流程提出的适用边界,不是原书已验证结果。 - 原始内容:这个时候又涉及之前我们提到的最小处理单元的问题了,现在的最小处理单元还是2500万,如果需要降低到625万,我们要重新对数据进行分类,如图6-10所示。