知识卡片

结构图卡 · 10087.b.1.b.4.a.4 · 生成模型:未记录

负采样层的组合

理解等级:中级

NegativeSamplingLoss 使用 UnigramSampler 取得负词 ID,并为正例和每个负例各组合一个 EmbeddingDot 与 SigmoidWithLoss。EmbeddingDot 内部用 Embedding 查候选词向量,再与隐藏向量求内积;各分支损失和梯度分别汇总。

结构图:

classDiagram
    class NegativeSamplingLoss {
        +forward(h, target)
        +backward(dout=1)
    }
    class UnigramSampler {
        +get_negative_sample(target)
    }
    class EmbeddingDot {
        +forward(h, idx)
        +backward(dout)
    }
    class Embedding {
        +forward(idx)
        +backward(dout)
    }
    class SigmoidWithLoss {
        +forward(x, t)
        +backward(dout=1)
    }
    NegativeSamplingLoss *-- UnigramSampler : 采样负例
    NegativeSamplingLoss *-- EmbeddingDot : 正负例各一
    NegativeSamplingLoss *-- SigmoidWithLoss : 正负例各一
    EmbeddingDot *-- Embedding : 查候选向量
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习进阶:自然语言处理》第4章《word2vec的高速化》4.2(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0009_split_002.html) - 结论依据:正文给出 EmbeddingDot、UnigramSampler 和 NegativeSamplingLoss 的类及组合;SigmoidWithLoss 的方法参数另核验配套代码。 - 原始内容:self.loss_layers = [SigmoidWithLoss() for _ in range(sample_size + 1)] self.embed_dot_layers = [EmbeddingDot(W) for _ in range(sample_size + 1)] - 外部核验:2026-11-21 查看[配套源码固定提交](https://github.com/oreilly-japan/deep-learning-from-scratch-2/blob/842ae31c2bb070f5116275606ed90396626a2c17/common/layers.py),确认 SigmoidWithLoss 方法参数。