返回主题:Lambda架构与数据系统分层

知识卡片

结构图卡 · 5404.b

数据流水线连接原始资料与知识

理解等级:中级

异质原始资料经过收集、清洗、存储管理、分析挖掘和可视化,才成为用户可理解并使用的信息。存储解决保存与访问问题,不能替代领域分析;可视化也不能挽救错误样本或推断。图0-1是职责流程,具体系统可以流式、迭代或交错执行,并非必须按固定产品串接。

结构图:

flowchart LR
 A[异质数据源] --> B[收集与清洗]
 B --> C[存储管理]
 C --> D[分析与挖掘]
 D --> E[可视化]
 E --> F[用户获取知识]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据概述 · 查看原书依据

      大数据处理的目标是从海量异质数据中挖掘知识,包含了数据源收集、数据存储管理、数据分析与挖掘以及数据展现与获取等几个序列进行的步骤,图0-1是大数据处理流程的整体架构图。从图中可看出,其形成了数据流处理的多个不同层次。

    参考来源

    - 位置:《大数据日知录:架构与算法》0(源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00005.html) - 结论依据:本章实际原文及必要原图;产品与性能描述保留2014年版本范围。校正的官方入口及实际阅读范围见50-root-official.json。 - 图像证据:对应原图已实际查看,路径与SHA见50-root-images.json;图内字段或数值与正文摘录分别取证。 - 原始内容:大数据处理的目标是从海量异质数据中挖掘知识,包含了数据源收集、数据存储管理、数据分析与挖掘以及数据展现与获取等几个序列进行的步骤,图0-1是大数据处理流程的整体架构图。从图中可看出,其形成了数据流处理的多个不同层次。 - 本卡原图证据:/Users/wangyi/claudecodeProject/bookBase/book-sources/extracted/大数据日知录_架构与算法/_epub-src/OEBPS/Image00003.jpg;SHA-256 4b700da09e169abe93ed0107794a04d8ae1d6d5266aff28412cf541b984e6d06;已逐张实际查看,示意字段/数值来自该图。