知识卡片
CBOW与Skipgram区别
Word2vec是用向量表示词的经典模型,包含CBOW和Skip-gram两种结构。CBOW拿目标词周围的词作为输入,去预测中心词本身,相当于由上下文决定当前词。Skip-gram正好反过来,用中心词去预测它周围的词,相当于由当前词决定上下文。两者的训练样本都来自语料库中的滑动窗口,经验上Skip-gram的效果更好,因此后续讲解多以它为框架。理解这两种结构的关键在于看清输入和输出是谁预测谁,它们共享同一套词向量查找表的训练逻辑。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
假定每个词都跟其相邻的词的关系最密切,即每个词都是由相邻的词决定的(图4-2中CBOW模型的主要原理),或者每个词都决定了相邻的词(图4-2中Skip-gram模型的主要原理)。
参考来源
- 位置:《深度学习推荐系统》第4章 Embedding技术在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0008_split_002.html)
- 结论依据:原文4.2.1节明确写出CBOW输入是周边词、预测输出是中心词,Skip-gram相反,并指出经验上Skip-gram效果较好。
- 原始内容:假定每个词都跟其相邻的词的关系最密切,即每个词都是由相邻的词决定的(图4-2中CBOW模型的主要原理),或者每个词都决定了相邻的词(图4-2中Skip-gram模型的主要原理)。