知识卡片

普通读书笔记卡 · 351.a.1

分布式任务要可恢复

理解等级:未标注

把Serverless扩展成master-worker分布式任务后,最糟的情形是多个worker同时崩溃,事后分不清哪些文件已处理、哪些没有。设计时就要让系统能自我修复:记录每项任务的处理状态与完整日志;任务完成后所有master、worker立即自行终止,避免遗留实例持续计费。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Serverless架构应用开发:Python实现-2021》第1章《Serverless范式》(源文件:_epub-src/OEBPS/Text/epub_0002_0002.html) - 结论依据:原文在分布式Serverless调试难点中指出两个worker崩溃后无法判断哪些文件已执行,要求架构能自我修复,并要求worker与master任务完成后立即自行终止;“记录处理状态”为据此提出的做法。 - 原始内容:所有的worker及master任务在执行完成之后应当立即自行终止。……因为这是一个分布式系统,所以毫无疑问,该架构在任何失败或者出错的情况都应当能够自我修复。……另一个更严重的灾难场景是两个worker任务在操作文件时发生崩溃。在这种情况下,开发人员并不知道哪些文件已成功执行,哪些没有。