知识卡片
Doc2Vec的Gensim用法
Gensim 的 Doc2Vec 与 Word2Vec 接口几乎一致,差别集中在”文档怎么进来、段落向量怎么算”。
输入不再是句子列表,而是带 paragraph id 的文档;训练完成后,文档的段落向量就是这个 id 对应的向量。
| 参数 | 含义 |
|---|---|
dm |
1=PV-DM(默认),0=PV-DBOW |
hs |
0=负采样(默认),1=Hierarchical Softmax |
dm_mean |
DM 投影层:0=上下文词向量求和,1=均值(默认) |
dm_concat |
1=把上下文词向量拼接而非求和/取均值,默认 0;拼接会让参数量随窗口增长 |
dm_tag_count |
dm_concat 模式下每个文档需要的标签数,默认 1 |
documents |
训练文档列表;大语料用流式方式构造 |
| 其余参数 | size、window、min_count、iter、workers 等与 Word2Vec 同名参数含义相同 |
书中列出的方法:train(sentences) 训练、save(fname) / load(fname) 存取模型、similarity(w1,w2) 算两词相似度、most_similar(topn=10) 取最相似的 top n 个词、create_binary_tree() 建哈夫曼树、estimate_memory() 评估内存、get_latest_training_loss() 取训练损失、update_weights() 更新权重、initialize_word_vectors() 初始化词向量、accuracy() 算准确度。
使用要点:
- DBOW(
dm=0)训练更快,可作为基线;DM 利用词序,长文档通常更好。 - 文档 id 必须稳定且唯一。同一 id 在训练中共享同一个段落向量,重复或错配会把两篇文档的语义强行混在一起。
dm_concat=1时投影层维度随窗口线性增长,参数和内存都会上升,只在需要保留词位信息时才用。- 按下游任务(分类、聚类、相似检索)验证
size、window、iter,不要照搬默认值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 Word2Vec和Doc2Vec词向量模型 14.2.2 Doc2Vec应用实例 · 查看原书依据
● dm:定义训练模式。如果选择dm = 0,表示使用Distributed Bag of Words (DBOW)模式。默认选择dm = 1,表示选择Distributed Memory(DM)模式。
参考来源
- 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html)
- 结论依据:原文列出 Doc2Vec 的 dm、hs、dm_mean、dm_concat、dm_tag_count 参数,并在"方法"中给出 train/save/load/most_similar 等接口。
- 原始内容:● dm:定义训练模式。如果选择dm = 0,表示使用Distributed Bag of Words (DBOW)模式。默认选择dm = 1,表示选择Distributed Memory(DM)模式。