返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 1789

速度层补新鲜度

理解等级:未标注

速度层处理尚未进入批处理视图的近期数据,通过增量更新的实时视图补齐新鲜度。对应数据进入服务层后,相关实时状态便可丢弃。

速度层是临时层,算法可以精确,也可以为了延迟采用近似计算;若采用近似结果,后续准确的批处理结果可予以修正。不能把“速度层”直接等同于“近似计算”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第12章《实时视图》"12.1 计算实时视图"一节(源文件:_epub-src/OEBPS/Text/091.xhtml) - 结论依据:原文明确"速度层中的这些视图只代表近期的数据……速度层可以通过在所有近期数据(即还未进入服务层的数据)上运行方法来生成它的视图",说明速度层只负责尚未被批处理层吸收的最新数据切片,而非承担完整的权威数据集。 - 原始内容:速度层的基本目标与批处理层和服务层是一样的,即生成可以被高效查询的视图。关键的不同之处在于,速度层中的这些视图只代表近期的数据,并且它们必须在新数据到达后很快被更新……速度层可以通过在所有近期数据(即还未进入服务层的数据)上运行方法来生成它的视图。 - 补充位置:第1章《大数据的新范式》1.7(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/014.xhtml)。 - 补充依据:原文允许速度层使用近似算法,也说明增量计算准确时系统可完全准确,故“临时层”不等于“近似层”。 - 补充原文:一些算法很难增量地计算。批处理/速度层的分离,为你在批处理层上使用精确算法和速度层上使用近似算法提供了足够的灵活性。