← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9838.b · 生成模型:Hunyuan

词袋模型与文本向量化

理解等级:中级

文本不能直接当作数值向量,需要先生成词袋列表,即收齐语料中出现的所有不重复的词,再按这个词表把每段文本转成等长的数值向量。向量每一维对应词袋中的一个词,0 表示该词未出现,1 表示出现一次,多次出现则累加,这就是词向量;向量维度等于词袋长度。例如由三段关于 dog、cat、dolphin 的短文本可得到包含 a、ate、cat、dolphin、dog、homework、my、sandwich、the 的词表,每段文本据此映射成一个固定长度的词频向量。这种表示抹去了词序,只保留词的出现与否和次数,却让文本能像表格数据一样参与距离计算和矩阵运算,是文本类数据集向量化的基本做法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第1章 机器学习的基础(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00007.html) - 结论依据:原文给出词袋生成规则、0/1/累加的赋值含义,并说明词向量维度就是词袋长度,支撑“先建词表再映射为数值向量”的机制。 - 原始内容:各段文本根据生成的词袋列表转换为对象,其维度就是词袋列表的长度,计算结果是32维。向量化后的文本称为词向量。