知识卡片

普通读书笔记卡 · 2801.e

失败任务可补算

理解等级:未标注

收集节点每批提交数据给管理节点的同时,把这批数据存一份到 NoSQL,作为备用。管理节点一旦发现有计算任务失败,就重新取出备用数据再算一次。近实时计算的可靠性不是靠任务永不失败,而是靠每批数据都能找回来重算。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式实时计算框架原理及实践案例》第3章《light_drtc核心技术实现》(源文件:_epub-src/OEBPS/Text/chapter5_0001.xhtml、_epub-src/OEBPS/Text/chapter5_0002.xhtml) - 结论依据:原文说明CN每隔K秒批量提交数据给任务管理节点的同时存到NoSQL,以备任务计算失败时重新计算;ACN一旦有失败计算任务,都需要重新取出备用数据补救;计算任务失败需二次重新计算。 - 原始内容:ACN一旦有失败计算任务,都需要重新取出备用数据补救……并同时存到NoSQL,以备任务计算失败时重新计算。