此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
无界输入的连锁反应
[[服务批处理与流处理]]中,批处理假设输入有界,作业知道何时读完;流数据则持续到达、永不完成,只能当作输入无尽的批处理。这一差异引发连锁后果:排序合并连接要读完全部输入才能输出,因为最后一条记录可能持有最小的键,流上无法照搬;批处理失败可从头重跑,而运行多年的流作业不可能重放全部历史,容错必须能从中间点恢复。窗口、恰好一次等流处理设计,都是在为输入永远读不完这一前提配套解法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十一章:流处理
原书出处 · 1 处
- 第十一章:流处理 · 查看原书依据
对于已经运行数年的流作业,重启后从头开始跑可能并不是一个可行的选项。
参考来源
- 位置:《数据密集型应用系统设计》第十一章《流处理》引言"流处理"(源文件:_epub-src/ch11_split_004.html)
- 结论依据:原文指出批处理假设输入有界、而流不会结束,并明确说明这一差异导致排序合并连接无法使用、容错机制必须区别于"从头重启"的批处理做法,直接支撑本卡片结论。
- 原始内容:与批量作业相比的一个关键区别是,流不会结束……排序对无界数据集没有意义,因此无法使用排序合并连接……对于已经运行数年的流作业,重启后从头开始跑可能并不是一个可行的选项。