知识卡片

普通读书笔记卡 · 7176.h · 生成模型:Tencent Hunyuan Hy

流式数据价值随时间衰减

理解等级:中级

流式数据的特征是源源不断从各处汇集,来源众多、格式复杂、数据量巨大。本章给出一个根本判断:数据的价值随时间流逝而降低,因此生成后最好尽快处理、实时响应结果,而非等累积后定期处理;对应工具必须具备高性能、实时性、分布式与易用性,且更关心整体价值而非局部特征。这解释了系统监控、交易金额、广告实时计费等需求。对这类场景,即便MapReduce做实时性改进也很难稳定满足,因为批处理任务终会结束、且有调度与读写开销。这一价值判断正是引入Storm这类永久运行流处理系统的动机,也划清了流式分析与离线批处理的边界。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大型分布式网站架构设计与实践》第5章《5.3 流式数据分析》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_003.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `524d45f53e3708c2e9ae9081179ef43d2307d57e2db36e300581752c268fae8c`) - 结论依据:原文『数据的价值将随着时间的流逝而降低,因此数据生成后最好能够尽快地进行处理』直接立论,同段『必须具备高性能、实时性、分布式和易用性几个特征』给出工具要求。 - 原始内容:对于流式数据的处理,有这样的一种观点,即数据的价值将随着时间的流逝而降低,因此数据生成后最好能够尽快地进行处理,实时地响应计算结果,而非等到数据累积以后再定期地进行处理。