知识卡片

普通读书笔记卡 · 9745.a · 生成模型:DeepSeek-V4.1-Flash

数据结构的四个层次

理解等级:中级

四种结构 | 类型 | 特征 | 典型例子 | |—|—|—| | 结构化 | 预定义的数据类型、格式与结构 | 交易记录、关系型数据库表、CSV、OLAP 数据集 | | 半结构化 | 有可识别模式,可做语法分析 | 带模式定义、自描述的 XML 文件 | | 准结构化 | 格式不规则,但可用工具规则化 | 网页点击流、URL 日志 | | 非结构化 | 没有固有结构 | 文本、PDF、图像、视频 |

关键在混合 真实系统很少只装一种数据。呼叫中心的关系库里,呼叫时间戳、机型、问题类型是结构化的,而工单邮件、聊天记录、通话录音转写则是半结构或非结构化的;后者往往才是洞见的来源。据估计,未来新增数据中有 80%~90% 属于非结构化。

技术后果 结构化数据的分析技术已经成熟,却不能直接套用到另外三类;半结构化、准结构化、非结构化各有各的解析难点,分布式计算与大规模并行处理(MPP)因此成为处理复杂数据的首选。选工具的第一步是看数据结构,而不是看数据量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 大数据分析介绍 · 查看原书依据

      虽然结构化数据的分析技术已经非常成熟,但是我们还是需要不同的技术来应对半结构化数据(比如XML格式)、准结构化数据(比如点击流)和非结构化数据分析所带来的新挑战。 下面给出了4种主要数据结构类型的定义和例子。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第1章 大数据分析介绍(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0011_split_001.html) - 结论依据:1.1.1 节给出四种数据结构类型的定义与例子,并以呼叫中心说明混合形态,指出新增数据以非结构化为主、需要分布式与 MPP 架构。 - 原始内容:虽然结构化数据的分析技术已经非常成熟,但是我们还是需要不同的技术来应对半结构化数据(比如XML格式)、准结构化数据(比如点击流)和非结构化数据分析所带来的新挑战。 下面给出了4种主要数据结构类型的定义和例子。