知识卡片

普通读书笔记卡 · 9664 · 生成模型:DeepSeek-V4.1-Flash

分布假设

理解等级:初级

分布假设源自 Harris 的《分布结构》:经常出现在相似语境中的词,含义也相近;两个词含义越相似,它们在相似语境中共同出现的频率越高。它把“词义”这个无法直接标注的对象,替换成可以从语料统计的共现分布。

为什么它是词向量的前提:只有当“相似语境意味着相似含义”成立时,把上下文预测的统计结果压成稠密向量才具有语义,向量间的距离才可解释。Word2vec 的 CBOW/跳字、BERT 的掩码预测、GPT 的下一词预测,都是这条假设的不同用法。

边界:多义词是明确反例——“bank”指银行与河岸时分布特性不同,单个静态向量装不下;同音异义词、纯语法约束也不完全由分布决定;此外假设依赖语料规模,小语料上共现统计噪声大,“相似语境”本身就估不准。它是一个在大规模数据上大体成立、极其有用的近似,而不是词义的完整定义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 分布假设 · 查看原书依据

      该理论认为,经常出现在相似语境中的词语倾向于具有相近的含义。简而言之,两个词的含义越相似,它们在相似语境中共同出现的频率就越高。

    参考来源

    - 位置:《大模型技术30讲》第14讲 分布假设(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0020.xhtml) - 结论依据:第14章 开篇定义、图14-1 例句讨论、14.1 与 14.2 - 原始内容:该理论认为,经常出现在相似语境中的词语倾向于具有相近的含义。简而言之,两个词的含义越相似,它们在相似语境中共同出现的频率就越高。