知识卡片
批处理与流计算架构对比
推荐系统的数据流是训练与服务模型所需数据的处理流程,其架构随大数据平台不断演进。批处理架构以分布式文件系统加 MapReduce 为核心,只能反复扫描已经落盘的静态数据,延迟动辄数小时,适合全量统计却无法满足实时特征更新。流计算架构在数据流产生与传递过程中就消费数据,用滑动窗口短暂缓存并逐窗处理,理论上延迟只取决于窗口大小,实际多为分钟级。Flink 进一步把批处理视为流计算的特例,并支持多流 join 与灵活重构下游。但纯流计算在数据合法性检查、数据回放和全量分析上乏力,短窗口下的日志乱序与 join 遗漏还会累积误差,因此需要在两者之间取长补短。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
流计算架构中“滑动窗口”的概念非常重要,在每个“窗口”内部,数据被短暂缓存并消费,在完成一个窗口的数据处理后,流计算平台滑动到下一时间窗口进行新一轮的数据处理。因此理论上,流计算平台的延迟仅与滑动窗口的大小有关。
参考来源
- 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_001.html)
- 结论依据:原文对比指出批处理只能处理落盘静态数据、延迟较大,而流计算以滑动窗口消费数据、延迟仅与窗口大小有关,同时点明纯流计算在全量分析与回放场景的不足。
- 原始内容:流计算架构中“滑动窗口”的概念非常重要,在每个“窗口”内部,数据被短暂缓存并消费,在完成一个窗口的数据处理后,流计算平台滑动到下一时间窗口进行新一轮的数据处理。因此理论上,流计算平台的延迟仅与滑动窗口的大小有关。