知识卡片
流式数据线的四阶段与缓冲解耦
流式数据线可分为采集、缓冲、实时分析、结果存储四阶段。缓冲层位于采集和处理之间,用消息队列吸收两端速率差;分析层消费缓冲数据并写出结果,存储层按查询需求选型。排查积压时,应分别观察采集速率、队列积压、处理速率和结果写入,避免把全链路延迟归咎于计算引擎。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》13.1.2 常见的开源实现(源文件:`_epub-src/OEBPS/text00103.html`)
- 结论依据:原文按数据采集、数据缓冲、实时分析、结果存储列出四个阶段,并指出缓冲用于平衡采集与处理速率。
- 原始内容:为了平衡数据采集速率与数据处理速率的不对等,通常数据采集阶段和处理阶段之间加入一个数据缓冲阶段