知识卡片
Skip-Gram模型
Skip-Gram 与 CBOW 方向相反:它以目标词为输入,预测其左右窗口内的上下文词,即计算 p(context(w)|w)。模型同样是输入层、映射层、输出层三层,训练时把目标词与上下文词组合成(输入,输出)样本集。窗口大小 window_size 决定上下文范围,例如 window_size=1 时只取前后各一个词。相比 CBOW,Skip-Gram 更擅长从单个词预测周围词,对低频词的表征往往更有优势。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 万物皆可嵌入 · 查看原书依据
Skip-Gram模型中的w(t)为输入词,在已知词w(t)的前提下预测词w(t)的上下文w(t-2)、w(t-1)、w(t+1)、w(t+2),条件概率写为p(context(w)/w)。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0002.xhtml)
- 结论依据:原文用“the quick brown fox jumped over the lazy dog”演示了如何按 Skip-Gram 思想构造由中心词与上下文组成的数据集,并给出其条件概率形式。
- 原始内容:Skip-Gram模型中的w(t)为输入词,在已知词w(t)的前提下预测词w(t)的上下文w(t-2)、w(t-1)、w(t+1)、w(t+2),条件概率写为p(context(w)/w)。