← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7176.d · 生成模型:Tencent Hunyuan Hy

实时离线与流式批量划分

理解等级:初级

理解数据分析工具前先要分清两组成对概念。按实时性分:实时分析多见于金融、电子商务,要求数秒内返回上亿行结果;对时间不敏感的数据挖掘、索引计算、推荐计算、机器学习,需做复杂多维计算,耗时几小时甚至几天,归为离线分析。按数据类型分:日志这类永不终结的数据流对应流式处理,任务不会结束;针对有限批量数据、以job提交且跑完即结束的是批量处理。Hadoop的主场是离线批处理,输入通常是前一天或前N天数据,结果必然滞后于当前时间,对数据量不大或实时性极高的场景并不理想。不过离线结果可通过数据回流写回关系库,支撑好友推荐、商品推荐等在线查询。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 数据分析 5.2 离线数据分析 · 查看原书依据

      根据数据分析的实时与否,可以将数据分析任务分为实时分析任务和离线分析任务。实时数据分析一般在金融、电子商务等领域的使用较多,往往要求在数秒内返回上亿行数据的分析结果,从而达到不影响用户体验的目的。

    参考来源

    - 位置:《大型分布式网站架构设计与实践》第5章《5.2 离线数据分析》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_002.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `d6c2a2e1d2c348204636896d9ca53c1399cd3aad90a4f4d3afe95569fd28d9bc`) - 结论依据:原文『根据数据分析的实时与否,可以将数据分析任务分为实时分析任务和离线分析任务』给出划分依据,同段与下段继续说明流式与批量、以及Hadoop结果滞后与数据回流。 - 原始内容:根据数据分析的实时与否,可以将数据分析任务分为实时分析任务和离线分析任务。实时数据分析一般在金融、电子商务等领域的使用较多,往往要求在数秒内返回上亿行数据的分析结果,从而达到不影响用户体验的目的。