返回主题:数据集成与分拆:一份真源与多份衍生

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 2280.r

无界输入的连锁反应

理解等级:未标注

[[服务批处理与流处理]]中,批处理假设输入有界,作业知道何时读完;流数据则持续到达、永不完成,只能当作输入无尽的批处理。这一差异引发连锁后果:排序合并连接要读完全部输入才能输出,因为最后一条记录可能持有最小的键,流上无法照搬;批处理失败可从头重跑,而运行多年的流作业不可能重放全部历史,容错必须能从中间点恢复。窗口、恰好一次等流处理设计,都是在为输入永远读不完这一前提配套解法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十一章《流处理》引言"流处理"(源文件:_epub-src/ch11_split_004.html) - 结论依据:原文指出批处理假设输入有界、而流不会结束,并明确说明这一差异导致排序合并连接无法使用、容错机制必须区别于"从头重启"的批处理做法,直接支撑本卡片结论。 - 原始内容:与批量作业相比的一个关键区别是,流不会结束……排序对无界数据集没有意义,因此无法使用排序合并连接……对于已经运行数年的流作业,重启后从头开始跑可能并不是一个可行的选项。