返回主题:批处理作业的写法:连接、聚合与作业抽象

知识卡片

专业/工作

排序先分类合并

理解等级:未标注

超大规模排序不能假设数据能集中到单机内存,核心流程是先按取值范围分类,再把同范围数据合并到负责节点,最后在节点内排序。分类边界要匹配最小内存处理单元,否则合并后仍会重新撞上容量限制。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    《大规模分布式系统架构与设计实战 (大数据技术丛书)》第2章《分布式并行计算的原理与实践》