← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9850.c · 生成模型:Hunyuan

CBOW模型

理解等级:中级

CBOW(Continuous Bag-Of-Words)是 word2vec 的一种模型,它用目标词周围的上下文词来预测目标词本身,即计算 p(w|context(w))。模型包含输入层、映射层和输出层三层,本质类似一个多分类任务。当词汇量动辄十几万时,直接用 Softmax 计算每个词的归一化概率成本过高,因此常配合 Hierarchical Softmax 这类二分类组合形式来优化。它适合利用上下文的整体语义来学习词向量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0002.xhtml) - 结论依据:原文以“2点钟”为例说明用上下文预测目标值对应 CBOW,并给出其三层架构与 Softmax 计算量过大的解决思路。 - 原始内容:CBOW模型中的w(t)为目标词,在已知它的上下文w(t-2)、w(t-1)、w(t+1)、w(t+2)的前提下预测词w(t)出现的概率,即p(w/context(w))。