知识卡片
批流合一取舍
批处理和流处理分开存储、分开处理,会带来资源冗余和额外的协调工作,这是“批流合一”受欢迎的原因。以Kappa架构为例,它在一个流式引擎里同时做实时处理和重新处理,要求数据流能从头或从指定位置回放,代码变更时重播全部历史数据。它有适合的场景,但本质上不能替代批流分离的Lambda架构,是否采用要看时效、回放需求和运维能力。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《云原生数据中台:架构、方法论与实践》第12章《数据流水线管理》(源文件:_epub-src/OEBPS/Text/chapter161.xhtml)
- 结论依据:原文说明批处理和流处理分别存储和处理会造成资源冗余和额外协调,因而兴起批流合一;Kappa在单个流式引擎中同时实时处理和连续再处理,要求数据流可全部或从特定位置回溯,其本质上不能替代Lambda体系结构。
- 原始内容:在处理的时候一般需要将批处理和流处理数据分别存储和处理,这就会造成资源的冗余和额外的协调工作。……Kappa专注于仅将数据作为流处理,所以除了有非常适合的实际使用场景,其本质上不能替代Lambda体系结构。