知识卡片
用分区输出重组数据
按日期或类别选分区键,可以把海量记录分组输出成后续易消费的数据集合。分类键和输出位置需与Reducer分区规则对应,关注热点类别与过多小文件;哈希分区分散键,不保证不同键的业务类别自动对应独立文件,更不自动提供全局顺序。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大规模批处理系统 · 查看原书依据
有些应用场景需要对数据记录进行分类,比如可以将所有记录按照日期进行分类,将同一天的数据放到一起以进一步做后续数据分析;再比如可以将相同地区的记录分类到一起等。因为MapReduce计算流程中天然具有Partition过程,所以对于这类应用,MapReduce方案的工作重心在Partition策略设计上。
参考来源
- 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落77(OEBPS/text00016.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:有些应用场景需要对数据记录进行分类,比如可以将所有记录按照日期进行分类,将同一天的数据放到一起以进一步做后续数据分析;再比如可以将相同地区的记录分类到一起等。因为MapReduce计算流程中天然具有Partition过程,所以对于这类应用,MapReduce方案的工作重心在Partition策略设计上。