知识卡片
连接中的热键补偿
[[排序合并连接]]要求同一键的记录进同一 Reducer,但名人账号这类热键数据量远超其他键,处理它的 Reducer 会拖慢整个作业。解法是打破这一约束:Pig 的偏斜连接先抽样找出热键,再把热键记录随机分发给多个 Reducer,另一侧对应记录则复制到所有这些 Reducer;Hive 要求在表元数据中标注热键并单独存放。分组聚合可分两阶段:先随机分发做局部聚合,再由第二个作业合并出最终结果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十章:批处理
原书出处 · 1 处
- 第十章:批处理 · 查看原书依据
例如,Pig中的偏斜连接(skewed join) 方法首先运行一个抽样作业(Sampling Job)来确定哪些键是热键【39】。
参考来源
- 位置:《数据密集型应用系统设计》第十章《批处理》"处理偏斜"(源文件:_epub-src/ch10_split_003.html)
- 结论依据:原文定义关键对象/热键导致的负载偏斜问题,给出Pig偏斜连接(抽样识别热键、随机分发+复制另一侧记录)、Crunch分片连接、Hive显式标注热键改用Map侧连接三种应对方案,直接支撑本卡片结论。
- 原始内容:这种不成比例的活动数据库记录被称为关键对象(linchpin object)【38】或热键(hot key)。……例如,Pig中的偏斜连接(skewed join) 方法首先运行一个抽样作业(Sampling Job)来确定哪些键是热键【39】。……对于另外一侧的连接输入,与热键相关的记录需要被复制到所有处理该键的Reducer上