知识卡片
流式数据价值随时间衰减
流式数据的特征是源源不断从各处汇集,来源众多、格式复杂、数据量巨大。本章给出一个根本判断:数据的价值随时间流逝而降低,因此生成后最好尽快处理、实时响应结果,而非等累积后定期处理;对应工具必须具备高性能、实时性、分布式与易用性,且更关心整体价值而非局部特征。这解释了系统监控、交易金额、广告实时计费等需求。对这类场景,即便MapReduce做实时性改进也很难稳定满足,因为批处理任务终会结束、且有调度与读写开销。这一价值判断正是引入Storm这类永久运行流处理系统的动机,也划清了流式分析与离线批处理的边界。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 数据分析 5.3 流式数据分析 · 查看原书依据
对于流式数据的处理,有这样的一种观点,即数据的价值将随着时间的流逝而降低,因此数据生成后最好能够尽快地进行处理,实时地响应计算结果,而非等到数据累积以后再定期地进行处理。
参考来源
- 位置:《大型分布式网站架构设计与实践》第5章《5.3 流式数据分析》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_003.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `524d45f53e3708c2e9ae9081179ef43d2307d57e2db36e300581752c268fae8c`)
- 结论依据:原文『数据的价值将随着时间的流逝而降低,因此数据生成后最好能够尽快地进行处理』直接立论,同段『必须具备高性能、实时性、分布式和易用性几个特征』给出工具要求。
- 原始内容:对于流式数据的处理,有这样的一种观点,即数据的价值将随着时间的流逝而降低,因此数据生成后最好能够尽快地进行处理,实时地响应计算结果,而非等到数据累积以后再定期地进行处理。