返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 3092.e

离线基线加实时增量

理解等级:未标注

二度关联难以在大数据量下纯流式计算时,可定期离线计算历史基线,再计算基线时间点之后的增量及其与历史数据的交叉关系,合并去重后存入查询缓存。书中示例以数小时批处理和定期增量换取较快查询,但结果会滞后;查询响应快与数据新鲜是两个指标。具体作业周期和 SQL 只是示例,实施时必须核验去重口径与时效目标。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第4章4.4.2《二度关联》(源文件:_epub-src/OEBPS/Text/chapter65.xhtml) - 结论依据:原文将复杂计算分为离线全量和实时增量,示例分别计算两侧增量交叉项、合并去重,再把结果放入缓存;同时明确查询快但数据有滞后。 - 原始内容:Lambda架构的核心思想是对于计算量过大或者计算过于复杂的问题,将其分为离线计算部分和实时计算部分,其中离线计算是在主数据集上的全量计算,而实时计算则是对增量数据的计算。