返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2577.g

推测慢任务

理解等级:未标注

个别慢任务会拖慢整个作业。推测执行为明显落后的任务再启动一个副本,谁先完成用谁:任务集完成比例达到阈值后,耗时超过已完成任务中位时长若干倍的任务可被推测(书中版本为75%、1.5倍,当前文档为90%、3倍)。它默认关闭;整体都慢时只会放大压力,有外部副作用的任务还要靠[[提交协调去重]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第7章《调度系统》(源文件:_epub-src/EPUB/text00165.html、_epub-src/EPUB/text00166.html) - 结论依据:原文说明慢任务拖慢作业,Spark由Pool和TaskSetManager实现推断执行,书中版本spark.speculation.quantile默认0.75、spark.speculation.multiplier默认1.5;Spark 4.2.0配置文档(访问2026-09-27)显示推测执行默认关闭,两参数默认值已改为0.9和3。 - 原始内容:·SPECULATION_QUANTILE:开始推断执行的任务分数。可以通过spark.speculation.quantile属性进行配置,默认为0.75。……·SPECULATION_MULTIPLIER:推断的乘数。可通过spark.speculation.multiplier属性进行配置,默认为1.5。……为了解决这些问题,Pool和TaskSetManager提供了Spark任务推断执行的实现。