知识卡片

结构图卡 · 9835.i · 生成模型:DeepSeek-V4.1-Flash

Doc2Vec给文档一个向量

理解等级:中级

Doc2Vec 相对 Word2Vec 只多了一类参数:段落向量。训练语料中每个句子或文档分配唯一 paragraph id,id 像词一样映射成一个向量,维数与词向量相同,但来自另一个向量空间。关键是:在同一文档的训练过程中这个 id 不变,所有窗口共享同一个 paragraph vector——相当于每次预测词时,都把整篇文档的语义作为条件带进来。

两种训练方式:

  • PV-DM(Distributed Memory):给定上下文词与段落向量,预测中心词。段落向量与词向量求和(Gensim 的 dm_mean)或拼接(dm_concat)后送入输出层。
  • PV-DBOW(Distributed Bag of Words):只给段落向量,预测该段落中随机抽到的一组词;输入只有段落向量,不需要上下文词。

预测新文档时不再更新词向量与输出层参数:给新文档分配一个新 id,固定其余参数,只对这个段落向量做梯度下降,收敛后即得该文档的向量。这让 Doc2Vec 可以在不重训全模型的情况下编码新文档。

为什么有效:词序信息通过”预测下一个词”进入段落向量,而不是像平均词向量那样被抹平(对比 [[词向量平均丢掉了词序]]);段落向量充当了一个共享的”文档主题记忆”,所有词的预测都受它约束。

代价:段落向量只对训练时见过的词表有效,新词仍然没有向量;向量数量随文档数线性增长,要额外存储;预测新文档需要一次额外的优化过程,比”取平均”慢。

结构图:

flowchart TD
    D["文档 id"] --> PV["段落向量"]
    C["上下文词"] --> WV["词向量"]
    PV --> M["求和或拼接"]
    WV --> M
    M --> S["输出层:预测中心词"]
    PV --> B["PV-DBOW:预测随机词"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html) - 结论依据:原文定义 DM 用上下文与段落向量预测词、DBOW 仅用段落向量预测随机词,并说明 paragraph id 在同文档训练中共享同一向量。 - 原始内容:● DM 的目标是在给定某个词的上下文和段落向量的基础上预测该词出现的概率。……● DBOW 则是在仅给定段落向量的基础上预测段落中一组随机单词出现的概率。