知识卡片

普通读书笔记卡 · 9850.d · 生成模型:Hunyuan

Skip-Gram模型

理解等级:中级

Skip-Gram 与 CBOW 方向相反:它以目标词为输入,预测其左右窗口内的上下文词,即计算 p(context(w)|w)。模型同样是输入层、映射层、输出层三层,训练时把目标词与上下文词组合成(输入,输出)样本集。窗口大小 window_size 决定上下文范围,例如 window_size=1 时只取前后各一个词。相比 CBOW,Skip-Gram 更擅长从单个词预测周围词,对低频词的表征往往更有优势。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 万物皆可嵌入 · 查看原书依据

      Skip-Gram模型中的w(t)为输入词,在已知词w(t)的前提下预测词w(t)的上下文w(t-2)、w(t-1)、w(t+1)、w(t+2),条件概率写为p(context(w)/w)。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0002.xhtml) - 结论依据:原文用“the quick brown fox jumped over the lazy dog”演示了如何按 Skip-Gram 思想构造由中心词与上下文组成的数据集,并给出其条件概率形式。 - 原始内容:Skip-Gram模型中的w(t)为输入词,在已知词w(t)的前提下预测词w(t)的上下文w(t-2)、w(t-1)、w(t+1)、w(t+2),条件概率写为p(context(w)/w)。