知识卡片
提交协调去重
任务失败重试和推测执行会让同一分区出现多个尝试,若都把结果写成最终输出,就会重复或互相覆盖。输出提交协调器由Driver统一授权:每个尝试写HDFS前先询问能否提交,同一分区只允许一个尝试获得提交权。容错重试提高了成功率,就必须配套提交去重,否则容错会变成重复的副作用,见[[推测慢任务]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第5章《Spark执行环境》(源文件:_epub-src/EPUB/text00097.html、_epub-src/EPUB/text00099.html)
- 结论依据:原文说明使用Spark SQL或需将输出保存到HDFS时,OutputCommitCoordinator决定任务是否可以提交输出;Driver上注册协调端点,Executor通过canCommit发送AskPermissionToCommitOutput请求提交权限。
- 原始内容:OutputCommitCoordinator将决定任务是否可以提交输出到HDFS。……canCommit方法(见代码清单5-92)用于向OutputCommitCoordinatorEndpoint发送AskPermissionToCommitOutput,并根据OutputCommitCoordinatorEndpoint的响应确认是否有权限将Stage的指定分区的输出提交到HDFS上。