← 返回刚才阅读的位置

知识卡片

操作参考卡 · 1776.j

用分区输出重组数据

理解等级:中级

按日期或类别选分区键,可以把海量记录分组输出成后续易消费的数据集合。分类键和输出位置需与Reducer分区规则对应,关注热点类别与过多小文件;哈希分区分散键,不保证不同键的业务类别自动对应独立文件,更不自动提供全局顺序。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      有些应用场景需要对数据记录进行分类,比如可以将所有记录按照日期进行分类,将同一天的数据放到一起以进一步做后续数据分析;再比如可以将相同地区的记录分类到一起等。因为MapReduce计算流程中天然具有Partition过程,所以对于这类应用,MapReduce方案的工作重心在Partition策略设计上。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落77(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:有些应用场景需要对数据记录进行分类,比如可以将所有记录按照日期进行分类,将同一天的数据放到一起以进一步做后续数据分析;再比如可以将相同地区的记录分类到一起等。因为MapReduce计算流程中天然具有Partition过程,所以对于这类应用,MapReduce方案的工作重心在Partition策略设计上。