知识卡片
分布式任务要可恢复
把Serverless扩展成master-worker分布式任务后,最糟的情形是多个worker同时崩溃,事后分不清哪些文件已处理、哪些没有。设计时就要让系统能自我修复:记录每项任务的处理状态与完整日志;任务完成后所有master、worker立即自行终止,避免遗留实例持续计费。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Serverless架构应用开发:Python实现-2021》第1章《Serverless范式》(源文件:_epub-src/OEBPS/Text/epub_0002_0002.html)
- 结论依据:原文在分布式Serverless调试难点中指出两个worker崩溃后无法判断哪些文件已执行,要求架构能自我修复,并要求worker与master任务完成后立即自行终止;“记录处理状态”为据此提出的做法。
- 原始内容:所有的worker及master任务在执行完成之后应当立即自行终止。……因为这是一个分布式系统,所以毫无疑问,该架构在任何失败或者出错的情况都应当能够自我修复。……另一个更严重的灾难场景是两个worker任务在操作文件时发生崩溃。在这种情况下,开发人员并不知道哪些文件已成功执行,哪些没有。