知识卡片

普通读书笔记卡 · 9754 · 生成模型:DeepSeek-V4.1-Flash

四种数据格式的谱系

理解等级:初级

按格式的一致程度,数据可以排成四档,这条谱系直接决定预处理的工作量与可用的工具。

  • 结构化:格式固定一致,典型是关系数据库的表,字段类型与顺序可预期,最容易直接解释。
  • 半结构化:自带描述结构的标记,如 XML,标签说明了各字段的含义,仍需解析但不必猜。
  • 准结构化:只有部分规律、格式松散,如超链接,往往要靠模式匹配抽取。
  • 非结构化:没有一致格式,如自由文本、图片、视频,需要先做分词、特征提取等处理。

结构化不等于免预处理。即便表结构规整,也要弄清某一列可能出现哪些取值、同一取值在不同行的含义是否不同;列里还可能塞着文本、图片这类对象。

工具向下兼容。本章讲的处理非结构化数据的工具集,同样能处理更规整的数据集:HDFS 只关心字节,MapReduce 只关心键值对,格式解释的责任在用户代码里。判断顺序因此是”数据能否切成独立分块”,而不是”数据有多脏”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html) - 结论依据:依据 10.1 节开头对四类数据的界定,以及随后关于结构化数据仍需理解列取值、列中可能含非结构化对象的说明。 - 原始内容:在第1章中讨论了4种类型的数据。 结构化 :一种特定和一致的格式(例如,一个数据表)。 半结构化 :一种自描述的格式(例如,XML文件)。 准结构化 :一种有些不一致的格式(例如,一个超链接)。