← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.r.18.a

流处理器状态的恢复

理解等级:中级

任何有状态的流处理——窗口聚合(计数器、平均值、直方图)、连接用的表和索引——都必须保证失败后能恢复状态。

两类做法:

  1. 状态存放在远程数据存储并复制:每条消息都查远程库可能很慢(与流表连接中远程查询的问题相同);
  2. 状态保存在流处理器本地并定期复制,恢复时新任务读取状态副本继续处理而不丢数据:
    • Flink 定期捕获算子状态快照,写入 HDFS 等持久存储;
    • Samza 和 Kafka Streams 把状态变更发送到启用日志压缩的专用 Kafka 主题,类似变更数据捕获;
    • VoltDB 在多个节点上冗余处理每条输入消息来复制状态。

有时根本不必复制状态,因为可以从输入流重建:状态若由很短的窗口聚合而来,重播该窗口的输入事件就够快;状态若是通过变更数据捕获维护的数据库本地副本,可以从日志压缩的变更流重建。

没有普适的最佳选择:这些权衡取决于底层基础设施的性能特征——某些系统里网络延迟可能低于磁盘访问延迟、网络带宽也可能与磁盘带宽相当;随着存储和网络技术发展,本地状态与远程状态的优劣也可能互换。

与[[流处理的恰好一次]]的关系:微批次、存档点、事务和幂等写入解决的是“输出只生效一次”,状态恢复解决的是“处理器重启后内部状态从哪里来”,两者都需要。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第11章《第十一章:流处理》容错·失败后重建状态(源文件:extracted/数据密集型应用系统设计/_epub-src/ch11_split_004.html,来源项目 book-sources) - 结论依据:第十一章“失败后重建状态”说明有状态流处理的恢复需求、远程存储与本地状态加复制两种做法及Flink快照、Samza和Kafka Streams压缩主题、VoltDB冗余处理三种实现,指出短窗口和CDC副本可从输入流重建,并强调权衡取决于网络与磁盘的性能特征。 - 原始内容:在某些情况下,甚至可能都不需要复制状态,因为它可以从输入流重建。