知识卡片
四种数据格式的谱系
按格式的一致程度,数据可以排成四档,这条谱系直接决定预处理的工作量与可用的工具。
- 结构化:格式固定一致,典型是关系数据库的表,字段类型与顺序可预期,最容易直接解释。
- 半结构化:自带描述结构的标记,如 XML,标签说明了各字段的含义,仍需解析但不必猜。
- 准结构化:只有部分规律、格式松散,如超链接,往往要靠模式匹配抽取。
- 非结构化:没有一致格式,如自由文本、图片、视频,需要先做分词、特征提取等处理。
结构化不等于免预处理。即便表结构规整,也要弄清某一列可能出现哪些取值、同一取值在不同行的含义是否不同;列里还可能塞着文本、图片这类对象。
工具向下兼容。本章讲的处理非结构化数据的工具集,同样能处理更规整的数据集:HDFS 只关心字节,MapReduce 只关心键值对,格式解释的责任在用户代码里。判断顺序因此是”数据能否切成独立分块”,而不是”数据有多脏”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
在第1章中讨论了4种类型的数据。 结构化 :一种特定和一致的格式(例如,一个数据表)。 半结构化 :一种自描述的格式(例如,XML文件)。 准结构化 :一种有些不一致的格式(例如,一个超链接)。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第10章 高级分析技术与工具:MapReduce和Hadoop(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0020_split_001.html)
- 结论依据:依据 10.1 节开头对四类数据的界定,以及随后关于结构化数据仍需理解列取值、列中可能含非结构化对象的说明。
- 原始内容:在第1章中讨论了4种类型的数据。 结构化 :一种特定和一致的格式(例如,一个数据表)。 半结构化 :一种自描述的格式(例如,XML文件)。 准结构化 :一种有些不一致的格式(例如,一个超链接)。