← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9835.j · 生成模型:DeepSeek-V4.1-Flash

Doc2Vec的Gensim用法

理解等级:初级

Gensim 的 Doc2Vec 与 Word2Vec 接口几乎一致,差别集中在”文档怎么进来、段落向量怎么算”。

输入不再是句子列表,而是带 paragraph id 的文档;训练完成后,文档的段落向量就是这个 id 对应的向量。

参数 含义
dm 1=PV-DM(默认),0=PV-DBOW
hs 0=负采样(默认),1=Hierarchical Softmax
dm_mean DM 投影层:0=上下文词向量求和,1=均值(默认)
dm_concat 1=把上下文词向量拼接而非求和/取均值,默认 0;拼接会让参数量随窗口增长
dm_tag_count dm_concat 模式下每个文档需要的标签数,默认 1
documents 训练文档列表;大语料用流式方式构造
其余参数 size、window、min_count、iter、workers 等与 Word2Vec 同名参数含义相同

书中列出的方法:train(sentences) 训练、save(fname) / load(fname) 存取模型、similarity(w1,w2) 算两词相似度、most_similar(topn=10) 取最相似的 top n 个词、create_binary_tree() 建哈夫曼树、estimate_memory() 评估内存、get_latest_training_loss() 取训练损失、update_weights() 更新权重、initialize_word_vectors() 初始化词向量、accuracy() 算准确度。

使用要点:

  1. DBOW(dm=0)训练更快,可作为基线;DM 利用词序,长文档通常更好。
  2. 文档 id 必须稳定且唯一。同一 id 在训练中共享同一个段落向量,重复或错配会把两篇文档的语义强行混在一起。
  3. dm_concat=1 时投影层维度随窗口线性增长,参数和内存都会上升,只在需要保留词位信息时才用。
  4. 按下游任务(分类、聚类、相似检索)验证 size、window、iter,不要照搬默认值。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html) - 结论依据:原文列出 Doc2Vec 的 dm、hs、dm_mean、dm_concat、dm_tag_count 参数,并在"方法"中给出 train/save/load/most_similar 等接口。 - 原始内容:● dm:定义训练模式。如果选择dm = 0,表示使用Distributed Bag of Words (DBOW)模式。默认选择dm = 1,表示选择Distributed Memory(DM)模式。