知识卡片
分区器与数据倾斜
partitioner 决定每个键交给哪个 reducer,默认按键的哈希取模。改它就能控制输出布局与负载分布。
- 按业务切分:让以元音开头的词去一个 reducer、辅音去另一个;或按日历年分区,使每年的结果落到单独文件,便于后续分析。
- 均衡负载:若已知少数键关联了绝大部分数据(热点键),把它们拆给不同 reducer,避免一个 reducer 独吞大半数据。
为什么重要:作业的完成时间由最慢的 reducer 决定。一个 reducer 拿到绝大多数键,其余早早空闲,整个作业仍要等它跑完——这就是数据倾斜,加机器也救不了。
设计要点:分区函数必须稳定、覆盖全部键空间,分区数要与 reducer 数一致;键分布未知时,先抽样找热点,再决定是加盐打散、拆分热点键,还是单独用另一套逻辑处理。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
作为一个更实际的例子,用户可以自定义partitioner把结果按照每一日历年分成单独的文件,供后续分析使用。同时,partitioner可以用来确保工作量被均匀地分布到reducer上。例如,如果已知某些键与很大一部分数据相关联,那么partitioner可以用来确保这些键会被分配给不同的reducer来实现更好的整体性能。否则,一个reducer可能被分配绝大多数的数据,而MapReduce任务在一个长期运行的reducer任务完成之前不会结束。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html)
- 结论依据:依据 10.1.3 节关于自定义 partitioner 按年份分文件、按首字母分流,以及用其均衡 reducer 负载、避免单个 reducer 拖住作业的论述。
- 原始内容:作为一个更实际的例子,用户可以自定义partitioner把结果按照每一日历年分成单独的文件,供后续分析使用。同时,partitioner可以用来确保工作量被均匀地分布到reducer上。例如,如果已知某些键与很大一部分数据相关联,那么partitioner可以用来确保这些键会被分配给不同的reducer来实现更好的整体性能。否则,一个reducer可能被分配绝大多数的数据,而MapReduce任务在一个长期运行的reducer任务完成之前不会结束。