返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2575.f

提交协调去重

理解等级:未标注

任务失败重试和推测执行会让同一分区出现多个尝试,若都把结果写成最终输出,就会重复或互相覆盖。输出提交协调器由Driver统一授权:每个尝试写HDFS前先询问能否提交,同一分区只允许一个尝试获得提交权。容错重试提高了成功率,就必须配套提交去重,否则容错会变成重复的副作用,见[[推测慢任务]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第5章《Spark执行环境》(源文件:_epub-src/EPUB/text00097.html、_epub-src/EPUB/text00099.html) - 结论依据:原文说明使用Spark SQL或需将输出保存到HDFS时,OutputCommitCoordinator决定任务是否可以提交输出;Driver上注册协调端点,Executor通过canCommit发送AskPermissionToCommitOutput请求提交权限。 - 原始内容:OutputCommitCoordinator将决定任务是否可以提交输出到HDFS。……canCommit方法(见代码清单5-92)用于向OutputCommitCoordinatorEndpoint发送AskPermissionToCommitOutput,并根据OutputCommitCoordinatorEndpoint的响应确认是否有权限将Stage的指定分区的输出提交到HDFS上。