← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9664.a · 生成模型:DeepSeek-V4.1-Flash

CBOW与跳字模型

理解等级:中级

Word2vec 用浅层网络把词映射为稠密向量,训练方式有两种。CBOW:用上下文中的词预测当前词,上下文信息被聚合,训练速度快,对高频词更友好。跳字(skip-gram):用当前词预测上下文中出现的词,每个上下文词都是一个样本,低频词能得到更多梯度,对罕见词效果更好,代价是训练更慢。

用途:两者都是把分布假设落地为可优化的预测任务——预测得准,意味着向量编码了“这个词常和谁一起出现”,于是语境相近的词在空间中靠近,不相似的词相距较远。

边界:窗口大小决定“语境”的范围,窗口越大越偏主题相似,越小越偏句法功能;两者产出的都是静态词向量,无法区分多义词的不同用法,这是后来上下文嵌入要解决的问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第14讲 分布假设(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0020.xhtml) - 结论依据:第14章 14.1 Word2vec、BERT和GPT 开头两段 - 原始内容:在应用CBOW时,Word2vec依据上下文中的词预测当前词。与之相反,在跳字模型中,Word2vec则是根据选定的词来预测上下文词语。