← 返回刚才阅读的位置

知识卡片

结构图卡 · 9835.e · 生成模型:DeepSeek-V4.1-Flash

负采样把多分类变二分类

理解等级:中级

Hierarchical Softmax 仍在回答”在这 V 个词里是哪一个”,只是把选择拆到树上。Negative Sampling(NEG)换了问题:不再问是哪个词,只问”这一对(上下文,词)是不是真的配对”。

做法:

  1. 正样本:语料里真实出现的(context(W), W),标签为 1。
  2. 负样本:从词表随机抽 k 个不等于 W 的词 u,与同一个 context(W) 组成假配对,标签为 0。
  3. 二分类:用 logistic 回归给每一对打分 σ(Xw·θu),目标函数让正样本概率大、负样本概率小。

这样一次更新只涉及 k+1 个输出向量,而不是 V 个:代价从 softmax 的 O(V)、哈夫曼的 O(log V) 进一步降到 O(k),k 通常取 5~20。原文的取舍是——使用负采样准确率提高,但速度会慢;不使用负采样的 Word2Vec 本身非常快,但准确性不高。

代价与边界:k 太小,梯度噪声大、词向量质量下降;k 太大则接近全词表计算,训练变慢;负样本是随机抽的,抽到的”假词”如果本身也合理(比如近义词),会给模型制造矛盾的监督信号。因此负采样更适合常见词与低维向量,分层 Softmax 更适合罕见词。

结构图:

flowchart LR
    P["真实配对(context, W)"] --> L1["标签 1 正样本"]
    N["随机抽 k 个词组成配对"] --> L0["标签 0 负样本"]
    L1 --> LR["Logistic 打分 σ(Xw·θu)"]
    L0 --> LR
    LR --> U["只更新 k+1 个输出向量"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html) - 结论依据:原文说明 NEG 不再用 Huffman 树而改用随机负采样,并把预测输出当作正/负二分类,目标是增大正样本概率、降低负样本概率。 - 原始内容:NEG 的核心思想是:把整个预测输出当作一个二分类过程,即分类结果为正、负两类;其目标就是增加正样本出现的概率,同时降低负样本出现的概率。