返回主题:批处理作业的写法:连接、聚合与作业抽象

知识卡片

普通读书笔记卡 · 2280.q.6

连接中的热键补偿

理解等级:未标注

[[排序合并连接]]要求同一键的记录进同一 Reducer,但名人账号这类热键数据量远超其他键,处理它的 Reducer 会拖慢整个作业。解法是打破这一约束:Pig 的偏斜连接先抽样找出热键,再把热键记录随机分发给多个 Reducer,另一侧对应记录则复制到所有这些 Reducer;Hive 要求在表元数据中标注热键并单独存放。分组聚合可分两阶段:先随机分发做局部聚合,再由第二个作业合并出最终结果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十章《批处理》"处理偏斜"(源文件:_epub-src/ch10_split_003.html) - 结论依据:原文定义关键对象/热键导致的负载偏斜问题,给出Pig偏斜连接(抽样识别热键、随机分发+复制另一侧记录)、Crunch分片连接、Hive显式标注热键改用Map侧连接三种应对方案,直接支撑本卡片结论。 - 原始内容:这种不成比例的活动数据库记录被称为关键对象(linchpin object)【38】或热键(hot key)。……例如,Pig中的偏斜连接(skewed join) 方法首先运行一个抽样作业(Sampling Job)来确定哪些键是热键【39】。……对于另外一侧的连接输入,与热键相关的记录需要被复制到所有处理该键的Reducer上