知识卡片
词袋模型与文本向量化
文本不能直接当作数值向量,需要先生成词袋列表,即收齐语料中出现的所有不重复的词,再按这个词表把每段文本转成等长的数值向量。向量每一维对应词袋中的一个词,0 表示该词未出现,1 表示出现一次,多次出现则累加,这就是词向量;向量维度等于词袋长度。例如由三段关于 dog、cat、dolphin 的短文本可得到包含 a、ate、cat、dolphin、dog、homework、my、sandwich、the 的词表,每段文本据此映射成一个固定长度的词频向量。这种表示抹去了词序,只保留词的出现与否和次数,却让文本能像表格数据一样参与距离计算和矩阵运算,是文本类数据集向量化的基本做法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 机器学习的基础 · 查看原书依据
各段文本根据生成的词袋列表转换为对象,其维度就是词袋列表的长度,计算结果是32维。向量化后的文本称为词向量。
参考来源
- 位置:《机器学习算法原理与编程实践》第1章 机器学习的基础(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00007.html)
- 结论依据:原文给出词袋生成规则、0/1/累加的赋值含义,并说明词向量维度就是词袋长度,支撑“先建词表再映射为数值向量”的机制。
- 原始内容:各段文本根据生成的词袋列表转换为对象,其维度就是词袋列表的长度,计算结果是32维。向量化后的文本称为词向量。