知识卡片

普通读书笔记卡 · 1777.e

流式数据线的四阶段与缓冲解耦

理解等级:初级

流式数据线可分为采集、缓冲、实时分析、结果存储四阶段。缓冲层位于采集和处理之间,用消息队列吸收两端速率差;分析层消费缓冲数据并写出结果,存储层按查询需求选型。排查积压时,应分别观察采集速率、队列积压、处理速率和结果写入,避免把全链路延迟归咎于计算引擎。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》13.1.2 常见的开源实现(源文件:`_epub-src/OEBPS/text00103.html`) - 结论依据:原文按数据采集、数据缓冲、实时分析、结果存储列出四个阶段,并指出缓冲用于平衡采集与处理速率。 - 原始内容:为了平衡数据采集速率与数据处理速率的不对等,通常数据采集阶段和处理阶段之间加入一个数据缓冲阶段