知识卡片
上下文求和得到投影向量
CBOW 的投影层没有非线性、也没有额外的权重矩阵:它只是把窗口内 2n 个上下文词的向量加起来(也可取平均),得到
Xw = Σ V(context(w))
再用 Xw 去预测中心词。所以训练中真正被更新的参数只有两类:输出层参数(哈夫曼节点向量或负采样词向量)和输入的词向量 V(W)。
梯度如何落到每个词上?目标函数只通过 Xw 依赖这些词向量,由链式法则:
∂L/∂V(wᵢ) = (∂L/∂Xw) · (∂Xw/∂V(wᵢ)) = ∂L/∂Xw
也就是说,对 Xw 求出的梯度可以原样分摊给窗口内每个上下文词,各自做一次更新。原文对此的判断是”比较合理”:Xw 本来就是各词向量的累加,把对和的偏导分摊回各项是自然的。这也解释了为什么 CBOW 一个样本就能更新 2n 个词向量。
求和与平均的差别只在尺度:窗口变大时求和的幅值随 2n 增长,平均则稳定在词向量本身的量级,学习率不必随窗口大小重新调整。因此 Gensim 默认 cbow_mean=1(取均值)。
边界:窗口内不含中心词自身;序列首尾的窗口要截断,实际参与求和的词数可能少于 2n;投影层没有非线性,意味着 CBOW 的表达能力完全来自输出层的预测任务,而不是隐藏层的变换。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.2 基于Hierarchical Softmax方法的CBOW模型 · 查看原书依据
第5步根据输出文字的节点路径,反向求导更新新路径上每个非叶子节点到隐藏层的参数值W,更新窗口内各个单词的词向量。
参考来源
- 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html)
- 结论依据:原文给出层次 Softmax 实现第 3、5 步:对窗口内左右词向量累加并不含自身,并按路径反向求导更新各词向量。
- 原始内容:第5步根据输出文字的节点路径,反向求导更新新路径上每个非叶子节点到隐藏层的参数值W,更新窗口内各个单词的词向量。