知识卡片

普通读书笔记卡 · 5424

备用进程不自动恢复状态

理解等级:高级

只为故障节点启动备用服务,能恢复执行能力,却无法凭空重建原节点内存计数等中间结果。对于有状态流任务,需要状态副本或检查点和输入重放;对确实无状态且输入可重试的任务,要求又不同。先分类状态与副作用,再选择恢复模式。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流式计算 · 查看原书依据

      如图12-11所示,计算任务的某个计算节点N在另外一台物理机上设置其对应的备份服务S,计算框架定时通过心跳或者ZooKeeper来及时捕获服务状态,当节点N发生故障时,启动备份服务S来接替计算节点N的功能。这是非常常见的一种模式,但是这只适合计算节点属于无状态(Stateless)类型的服务,因为一旦计算节点N死掉,如果存有状态信息,则状态信息全部丢失,无法在计算节点S进行状态恢复。Yahoo的S4在容错机制方面就是采取这种方式的,所以存在状态信息丢失的可能,这对于流式计算系统来说是很严重的功能不足,大大限制了其使用场景。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落105(OEBPS/text00017.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:如图12-11所示,计算任务的某个计算节点N在另外一台物理机上设置其对应的备份服务S,计算框架定时通过心跳或者ZooKeeper来及时捕获服务状态,当节点N发生故障时,启动备份服务S来接替计算节点N的功能。这是非常常见的一种模式,但是这只适合计算节点属于无状态(Stateless)类型的服务,因为一旦计算节点N死掉,如果存有状态信息,则状态信息全部丢失,无法在计算节点S进行状态恢复。Yahoo的S4在容错机制方面就是采取这种方式的,所以存在状态信息丢失的可能,这对于流式计算系统来说是很严重的功能不足,大大限制了其使用场景。