知识卡片
CBOW与跳字模型
Word2vec 用浅层网络把词映射为稠密向量,训练方式有两种。CBOW:用上下文中的词预测当前词,上下文信息被聚合,训练速度快,对高频词更友好。跳字(skip-gram):用当前词预测上下文中出现的词,每个上下文词都是一个样本,低频词能得到更多梯度,对罕见词效果更好,代价是训练更慢。
用途:两者都是把分布假设落地为可优化的预测任务——预测得准,意味着向量编码了“这个词常和谁一起出现”,于是语境相近的词在空间中靠近,不相似的词相距较远。
边界:窗口大小决定“语境”的范围,窗口越大越偏主题相似,越小越偏句法功能;两者产出的都是静态词向量,无法区分多义词的不同用法,这是后来上下文嵌入要解决的问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 分布假设 · 查看原书依据
在应用CBOW时,Word2vec依据上下文中的词预测当前词。与之相反,在跳字模型中,Word2vec则是根据选定的词来预测上下文词语。
参考来源
- 位置:《大模型技术30讲》第14讲 分布假设(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0020.xhtml)
- 结论依据:第14章 14.1 Word2vec、BERT和GPT 开头两段
- 原始内容:在应用CBOW时,Word2vec依据上下文中的词预测当前词。与之相反,在跳字模型中,Word2vec则是根据选定的词来预测上下文词语。