知识卡片
负采样把多分类变二分类
Hierarchical Softmax 仍在回答”在这 V 个词里是哪一个”,只是把选择拆到树上。Negative Sampling(NEG)换了问题:不再问是哪个词,只问”这一对(上下文,词)是不是真的配对”。
做法:
- 正样本:语料里真实出现的(context(W), W),标签为 1。
- 负样本:从词表随机抽 k 个不等于 W 的词 u,与同一个 context(W) 组成假配对,标签为 0。
- 二分类:用 logistic 回归给每一对打分 σ(Xw·θu),目标函数让正样本概率大、负样本概率小。
这样一次更新只涉及 k+1 个输出向量,而不是 V 个:代价从 softmax 的 O(V)、哈夫曼的 O(log V) 进一步降到 O(k),k 通常取 5~20。原文的取舍是——使用负采样准确率提高,但速度会慢;不使用负采样的 Word2Vec 本身非常快,但准确性不高。
代价与边界:k 太小,梯度噪声大、词向量质量下降;k 太大则接近全词表计算,训练变慢;负样本是随机抽的,抽到的”假词”如果本身也合理(比如近义词),会给模型制造矛盾的监督信号。因此负采样更适合常见词与低维向量,分层 Softmax 更适合罕见词。
结构图:
flowchart LR
P["真实配对(context, W)"] --> L1["标签 1 正样本"]
N["随机抽 k 个词组成配对"] --> L0["标签 0 负样本"]
L1 --> LR["Logistic 打分 σ(Xw·θu)"]
L0 --> LR
LR --> U["只更新 k+1 个输出向量"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.4 基于Negative Sampling方法的CBOW模型 · 查看原书依据
NEG 的核心思想是:把整个预测输出当作一个二分类过程,即分类结果为正、负两类;其目标就是增加正样本出现的概率,同时降低负样本出现的概率。
参考来源
- 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html)
- 结论依据:原文说明 NEG 不再用 Huffman 树而改用随机负采样,并把预测输出当作正/负二分类,目标是增大正样本概率、降低负样本概率。
- 原始内容:NEG 的核心思想是:把整个预测输出当作一个二分类过程,即分类结果为正、负两类;其目标就是增加正样本出现的概率,同时降低负样本出现的概率。