知识卡片

普通读书笔记卡 · 2280.s.4

批流统一与函数式

理解等级:未标注

批处理与流处理都产出衍生数据。[[无界输入的连锁反应]]是两者的根本区别,但实现已趋模糊:Spark 用微批次做流,Flink 在流引擎上做批,只是性能特征不同。批处理有很强的函数式风格:确定性纯函数,输出只依赖输入,输入不可变、输出仅追加;流处理只是增加了受管理的容错状态。输入输出明确的确定性函数既利于容错,也便于把整个组织理解为数据管道。异步维护衍生数据反而更稳健,能把故障局限在局部。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十二章《数据系统的未来》"批处理与流处理""维护衍生状态"(源文件:_epub-src/ch12_split_002.html) - 结论依据:原文说明批处理与流处理的根本区别在于输入是否有界、但实现细节正在趋同(Spark微批次/Flink流式批处理),并指出批处理和流处理共享确定性纯函数的风格,异步维护衍生数据比同步的分布式事务更能局部化故障,直接支撑本卡片结论。 - 原始内容:批处理和流处理有许多共同的原则,主要的根本区别在于流处理器在无限数据集上运行,而批处理输入是已知的有限大小……异步是使基于事件日志的系统稳健的原因:它允许系统的一部分故障被抑制在本地。