知识卡片
文本结构化表示四大类
分词的直接价值在于为文本的结构化表示打基础。常见的结构化表示有四类:词向量空间模型把文本表示成以词为维度的向量;主题模型用潜在主题分布刻画文档;依存句法的树结构表达词与词的语法依赖;RDF 则以图的形式描述实体与关系。四者形态各异,却都以分词为前提——只有先把连续字串切成词,才能进一步统计词频、推断主题、建立句法关系或抽取实体。看清这一依赖关系有助于理解为何中文文本分类管线把分词放在向量建模之前:词是上游唯一的公共输入,分词误差会被每一种下游表示继承。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 中文文本分类 · 查看原书依据
目前,文本的结构化表示简单分为四大类:词向量空间模型、主题模型、依存句法的树表示、RDF的图表示。以上这4种文本表示都是以分词为基础的。
参考来源
- 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html)
- 结论依据:原文列出词向量空间模型、主题模型、依存句法树表示、RDF 图表示四类,并明确指出这四种表示都以分词为基础,支撑本卡对依赖关系的判断。
- 原始内容:目前,文本的结构化表示简单分为四大类:词向量空间模型、主题模型、依存句法的树表示、RDF的图表示。以上这4种文本表示都是以分词为基础的。