返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 2777.c

三种计算时效

理解等级:未标注

实时计算要求秒级甚至更快,用于实时广告、个性化推荐、监测预警;离线计算不要求时效,可充分计算全量数据,用于用户画像、流失预警等;临时计算介于两者之间,典型是即席查询,条件临时输入无法预计算。只有大中型或海量数据企业才需要把三者拆开设计。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第8章《大数据工作流》"8.4.1 三种数据计算时效性"(源文件:_epub-src/OEBPS/text00117.html) - 结论依据:原文说明"数据计算按照计算结果输出的时间性可分为实时计算和离线计算,部分企业还会在实时计算和离线计算之间加入临时计算""数据计算模块只对大中型企业或具备海量数据处理需求的企业有存在意义",并分别说明三者的时间窗口和数据量级,直接支撑本卡结论。 - 原始内容:实时计算要求数据每次都是实时收集、实时计算、实时反馈、实时输出……离线计算的数据处理时间通常是分钟或小时级,甚至可能是天……临时计算的处理时间在秒到分钟,数据处理量在GB到TB