知识卡片

普通读书笔记卡 · 3103.e.1

Spark Streaming两种状态恢复机制的权衡:checkpoint与offset management

理解等级:未标注

Spark Streaming程序故障重启后需要恢复计算上下文与输入进度;书中给出两种记录粒度不同的方案。位点恢复可帮助重读数据,但是否重复处理或重复写外部结果仍取决于提交时机、处理状态和下游写入语义。checkpoint是”重量级”方案:把程序的完整上下文(RDD及其状态信息)定期写到HDFS这类可靠文件系统,重启时直接从checkpoint目录整体恢复出一个StreamingContext——这个方案的代价是它把代码逻辑本身也序列化进了恢复信息里,一旦用户后续修改代码(比如新增了一个RDD操作),新版本代码和checkpoint里保存的旧版本上下文就对不上,导致应用升级后无法从旧checkpoint恢复,必须清空重来。offset management是”轻量级”方案:只记录”每批数据处理到了哪个位点(offset)”这一个最小信息,重启后从记录的offset继续读取——开销小、且较少绑定代码版本,因此对应用升级较友好;若位点与处理结果未协调提交,故障重放可能产生重复效果,需下游幂等、去重或事务条件;但它能生效的前提是苛刻的——上游数据源本身必须是可靠、支持按offset精确回放的系统(如Kafka),如果数据源本身不支持按位点重读,这个方案就无从谈起。可迁移启发:故障恢复机制的选择本质上是”恢复信息该有多重”和”对上下游系统能力的依赖有多强”之间的权衡——记录的信息越接近”完整状态快照”,恢复越省心但越脆弱(绑定代码版本、体积大);记录的信息越接近”最小位点标记”,恢复越轻量灵活,但必须确保上游可回放,并单独恢复处理状态、核对外部输出的重复处理边界,这个判断标准同样适用于其他任何需要断点续传的系统设计。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》之"13.3.4 容错性讨论"(源文件:_epub-src/OEBPS/text00105.html) - 结论依据:原文说明"checkpoint……会详尽记录程序的上下文信息,包括RDD及状态信息,这使得应用程序难以升级:一旦新版本的代码被修改加入了新的RDD,则会导致应用程序启动后不能恢复之前的状态信息……offset management……是指将每次处理的RDD偏移量记录下来,一旦重启后,重新从未处理完的位置开始处理数据。这是一种轻量级的容错方法,开销小且兼容性好。采用这种方案的前提是Spark Streaming读取的数据必须来自一个可靠的缓存系统", 支撑两种恢复信息粒度的书内比较;原文关于offset与at least once的简述不足以证明外部输出恰好一次,位点提交顺序需按具体实现核验。 - 原始内容:每次先保存offset再处理数据,可以保证at least once delivery。