知识卡片
word2vec两模型对比
word2vec 的两种模型 CBOW 与 Skip-Gram 共享输入层、映射层、输出层的骨架,区别在于预测方向:前者由上下文推目标词,后者由目标词推上下文。两者都面临输出层 Softmax 与权重矩阵 W′ 更新成本过高的问题,因此都可叠加 Hierarchical Softmax 或 Negative Sampling 两种优化策略。理解这种“两模型×两优化”的组合关系,就抓住了 word2vec 的整体结构。
结构图:
classDiagram
class word2vec {
+inputLayer()
+mappingLayer()
+outputLayer()
}
class CBOW {
+contextWordsAsInput()
+predictTargetWord()
+probTargetGivenContext()
}
class SkipGram {
+targetWordAsInput()
+predictContextWords()
+probContextGivenTarget()
+windowSize
}
class HierarchicalSoftmax {
+huffmanTree
+binaryClassification
}
class NegativeSampling {
+sampleNegatives()
+partialWeightUpdate()
}
word2vec <|-- CBOW
word2vec <|-- SkipGram
CBOW --> HierarchicalSoftmax : optimize
SkipGram --> HierarchicalSoftmax : optimize
CBOW --> NegativeSampling : optimize
SkipGram --> NegativeSampling : optimize
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 万物皆可嵌入 · 查看原书依据
它们分别对应word2vec的两种模型,即CBOW模型(Continuous Bag-Of-Words Model)和Skip-Gram模型。根据上下文生成目标值(即方法1)时,使用CBOW模型;根据目标值生成上下文(即方法2)时,采用Skip-Gram模型。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0002.xhtml)
- 结论依据:原文指出两种方法分别对应 CBOW 与 Skip-Gram,并说明两种优化策略出发点一致,都是为避免在每个样本中完整更新 W′。
- 原始内容:它们分别对应word2vec的两种模型,即CBOW模型(Continuous Bag-Of-Words Model)和Skip-Gram模型。根据上下文生成目标值(即方法1)时,使用CBOW模型;根据目标值生成上下文(即方法2)时,采用Skip-Gram模型。