知识卡片
CBOW模型
CBOW(Continuous Bag-Of-Words)是 word2vec 的一种模型,它用目标词周围的上下文词来预测目标词本身,即计算 p(w|context(w))。模型包含输入层、映射层和输出层三层,本质类似一个多分类任务。当词汇量动辄十几万时,直接用 Softmax 计算每个词的归一化概率成本过高,因此常配合 Hierarchical Softmax 这类二分类组合形式来优化。它适合利用上下文的整体语义来学习词向量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 万物皆可嵌入 · 查看原书依据
CBOW模型中的w(t)为目标词,在已知它的上下文w(t-2)、w(t-1)、w(t+1)、w(t+2)的前提下预测词w(t)出现的概率,即p(w/context(w))。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0002.xhtml)
- 结论依据:原文以“2点钟”为例说明用上下文预测目标值对应 CBOW,并给出其三层架构与 Softmax 计算量过大的解决思路。
- 原始内容:CBOW模型中的w(t)为目标词,在已知它的上下文w(t-2)、w(t-1)、w(t+1)、w(t+2)的前提下预测词w(t)出现的概率,即p(w/context(w))。