← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9754.k · 生成模型:DeepSeek-V4.1-Flash

分区器与数据倾斜

理解等级:高级

partitioner 决定每个键交给哪个 reducer,默认按键的哈希取模。改它就能控制输出布局与负载分布。

  • 按业务切分:让以元音开头的词去一个 reducer、辅音去另一个;或按日历年分区,使每年的结果落到单独文件,便于后续分析。
  • 均衡负载:若已知少数键关联了绝大部分数据(热点键),把它们拆给不同 reducer,避免一个 reducer 独吞大半数据。

为什么重要:作业的完成时间由最慢的 reducer 决定。一个 reducer 拿到绝大多数键,其余早早空闲,整个作业仍要等它跑完——这就是数据倾斜,加机器也救不了。

设计要点:分区函数必须稳定、覆盖全部键空间,分区数要与 reducer 数一致;键分布未知时,先抽样找热点,再决定是加盐打散、拆分热点键,还是单独用另一套逻辑处理。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据

      作为一个更实际的例子,用户可以自定义partitioner把结果按照每一日历年分成单独的文件,供后续分析使用。同时,partitioner可以用来确保工作量被均匀地分布到reducer上。例如,如果已知某些键与很大一部分数据相关联,那么partitioner可以用来确保这些键会被分配给不同的reducer来实现更好的整体性能。否则,一个reducer可能被分配绝大多数的数据,而MapReduce任务在一个长期运行的reducer任务完成之前不会结束。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html) - 结论依据:依据 10.1.3 节关于自定义 partitioner 按年份分文件、按首字母分流,以及用其均衡 reducer 负载、避免单个 reducer 拖住作业的论述。 - 原始内容:作为一个更实际的例子,用户可以自定义partitioner把结果按照每一日历年分成单独的文件,供后续分析使用。同时,partitioner可以用来确保工作量被均匀地分布到reducer上。例如,如果已知某些键与很大一部分数据相关联,那么partitioner可以用来确保这些键会被分配给不同的reducer来实现更好的整体性能。否则,一个reducer可能被分配绝大多数的数据,而MapReduce任务在一个长期运行的reducer任务完成之前不会结束。