知识卡片

普通读书笔记卡

离线计算先存后分析

理解等级:初级

离线计算先保存待处理数据,再集中分析已有数据;日志分析和数据挖掘常用这种方式。它描述的是数据处理时机,不限定某个框架或算法。数据量大时可并行处理,但“离线”本身不保证使用分布式计算。对照 [[实时计算按增量处理]],关键区别是是否等待数据积累后再分析。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.3“关于分布式的一些概念与产品”(源文件:`_epub-src/OEBPS/text00017.html`) - 结论依据:原文将离线计算界定为应用方式,举分布式文件系统中存储数据后分析、日志分析和数据挖掘为例,并说明大数据量时常用并行计算。 - 原始内容:它不是技术,也不是产品,而是一种分布式计算应用方式。Hadoop应用大部分都是离线计算,也就是数据通常保存在分布式文件系统中,在离线状态下去分析这些数据