返回主题:状态与容错:状态存哪、错了怎么恢复

知识卡片

普通读书笔记卡 · 2280.r.18

流处理的恰好一次

理解等级:未标注

MapReduce 等任务成功后才让输出可见,失败即丢弃,轻松做到恰好一次;流永不结束,无法这样做。微批次如 Spark Streaming 把流切成约 1 秒的小批;Flink 定期存档算子状态,崩溃后从存档点重启。但两者只在框架内有效,输出一旦外泄,就无法撤销,要靠原子提交让输出与副作用仅在成功时生效。更轻量的是幂等:设置键值天然幂等,计数加一配合偏移量去重也可幂等。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十一章《流处理》"容错""微批量与存档点""原子提交再现""幂等性"(源文件:_epub-src/ch11_split_004.html) - 结论依据:原文说明微批次与存档点为流处理框架内部提供恰好一次语义、但无法撤销已外泄的副作用,进而介绍原子提交与幂等性两条实现外部恰好一次效果的路径及各自前提条件,直接支撑本卡片结论。 - 原始内容:一个解决方案是将流分解成小块,并像微型批处理一样处理每个块……但是,只要输出离开流处理器(例如,写入数据库,向外部消息代理发送消息,或发送电子邮件),框架就无法抛弃失败批次的输出了。……幂等操作是多次重复执行与单次执行效果相同的操作。