知识卡片

结构图卡 · 9850.e · 生成模型:Hunyuan

word2vec两模型对比

理解等级:中级

word2vec 的两种模型 CBOW 与 Skip-Gram 共享输入层、映射层、输出层的骨架,区别在于预测方向:前者由上下文推目标词,后者由目标词推上下文。两者都面临输出层 Softmax 与权重矩阵 W′ 更新成本过高的问题,因此都可叠加 Hierarchical Softmax 或 Negative Sampling 两种优化策略。理解这种“两模型×两优化”的组合关系,就抓住了 word2vec 的整体结构。

结构图:

classDiagram
    class word2vec {
        +inputLayer()
        +mappingLayer()
        +outputLayer()
    }
    class CBOW {
        +contextWordsAsInput()
        +predictTargetWord()
        +probTargetGivenContext()
    }
    class SkipGram {
        +targetWordAsInput()
        +predictContextWords()
        +probContextGivenTarget()
        +windowSize
    }
    class HierarchicalSoftmax {
        +huffmanTree
        +binaryClassification
    }
    class NegativeSampling {
        +sampleNegatives()
        +partialWeightUpdate()
    }
    word2vec <|-- CBOW
    word2vec <|-- SkipGram
    CBOW --> HierarchicalSoftmax : optimize
    SkipGram --> HierarchicalSoftmax : optimize
    CBOW --> NegativeSampling : optimize
    SkipGram --> NegativeSampling : optimize
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 万物皆可嵌入 · 查看原书依据

      它们分别对应word2vec的两种模型,即CBOW模型(Continuous Bag-Of-Words Model)和Skip-Gram模型。根据上下文生成目标值(即方法1)时,使用CBOW模型;根据目标值生成上下文(即方法2)时,采用Skip-Gram模型。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0002.xhtml) - 结论依据:原文指出两种方法分别对应 CBOW 与 Skip-Gram,并说明两种优化策略出发点一致,都是为避免在每个样本中完整更新 W′。 - 原始内容:它们分别对应word2vec的两种模型,即CBOW模型(Continuous Bag-Of-Words Model)和Skip-Gram模型。根据上下文生成目标值(即方法1)时,使用CBOW模型;根据目标值生成上下文(即方法2)时,采用Skip-Gram模型。