知识卡片
负采样层的组合
NegativeSamplingLoss 使用 UnigramSampler 取得负词 ID,并为正例和每个负例各组合一个 EmbeddingDot 与 SigmoidWithLoss。EmbeddingDot 内部用 Embedding 查候选词向量,再与隐藏向量求内积;各分支损失和梯度分别汇总。
结构图:
classDiagram
class NegativeSamplingLoss {
+forward(h, target)
+backward(dout=1)
}
class UnigramSampler {
+get_negative_sample(target)
}
class EmbeddingDot {
+forward(h, idx)
+backward(dout)
}
class Embedding {
+forward(idx)
+backward(dout)
}
class SigmoidWithLoss {
+forward(x, t)
+backward(dout=1)
}
NegativeSamplingLoss *-- UnigramSampler : 采样负例
NegativeSamplingLoss *-- EmbeddingDot : 正负例各一
NegativeSamplingLoss *-- SigmoidWithLoss : 正负例各一
EmbeddingDot *-- Embedding : 查候选向量
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 4.2 负采样
原书出处 · 1 处
- word2vec的高速化 · 查看原书依据
self.loss_layers = [SigmoidWithLoss() for _ in range(sample_size + 1)] self.embed_dot_layers = [EmbeddingDot(W) for _ in range(sample_size + 1)]
参考来源
- 位置:《深度学习进阶:自然语言处理》第4章《word2vec的高速化》4.2(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0009_split_002.html)
- 结论依据:正文给出 EmbeddingDot、UnigramSampler 和 NegativeSamplingLoss 的类及组合;SigmoidWithLoss 的方法参数另核验配套代码。
- 原始内容:self.loss_layers = [SigmoidWithLoss() for _ in range(sample_size + 1)] self.embed_dot_layers = [EmbeddingDot(W) for _ in range(sample_size + 1)]
- 外部核验:2026-11-21 查看[配套源码固定提交](https://github.com/oreilly-japan/deep-learning-from-scratch-2/blob/842ae31c2bb070f5116275606ed90396626a2c17/common/layers.py),确认 SigmoidWithLoss 方法参数。