← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9685.e · 生成模型:DeepSeek-V4.1-Flash

词嵌入让相似词共享参数

理解等级:高级

统计语言模型把词当作离散索引:词表第 1024 号词就是一个 one-hot 向量,任意两个词的内积为 0。后果是相似性没有载体——模型学到 dog 后面常接 ate,这个知识对 cat 毫无帮助,因为两者在参数空间里完全正交,每个词都得靠自己的语料单独积累,长尾词永远不够。

神经语言模型(Bengio 等,2003)先把词映射成稠密向量,即词嵌入(word embedding),再把向量送进网络算条件概率。嵌入不是外部工具,而是随语言建模目标一起学出来的:用法相近的词被拉到相近位置,于是 dog ate 的统计强度会顺带迁移到 cat ate 上。这就是分布式表示带来的参数共享——参数按向量维度共享,而不是按词切分,没精确见过的组合也能得到合理打分。

Bengio 给出的直觉是:给定 ate the,bone 的概率可以由网络从这三个向量算出来,不必在语料里精确数过 ate the bone 这个三元组。

边界:泛化能力取决于嵌入质量与数据覆盖,向量维度本身是新的超参数;表示不再可解释,训练也比查表计数贵得多。但换来的连续空间让相似性成为可计算的东西,这后来也是所有大模型表示层的起点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 语言模型和分词 · 查看原书依据

      2003年,Bengio等人提出了神经语言模型,该模型利用词嵌入将单词或词元作为向量进行参数化,并将它们输入神经网络。这些嵌入是基于单词的用法学习到的单词表征,允许相似的单词具有相似的表征。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml) - 结论依据:原文该段以「2003年,Bengio等人提出了神经语言模型,该模型利用词嵌入将单…」为中心展开,本卡的核心判断「统计语言模型把词当作离散索引:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:2003年,Bengio等人提出了神经语言模型,该模型利用词嵌入将单词或词元作为向量进行参数化,并将它们输入神经网络。这些嵌入是基于单词的用法学习到的单词表征,允许相似的单词具有相似的表征。