知识卡片

普通读书笔记卡 · 9685 · 生成模型:DeepSeek-V4.1-Flash

语言模型是序列概率函数

理解等级:中级

形式语言与自然语言的差别不在复杂程度,而在来源。编程语言被设计成无二义、规则可枚举;自然语言是在社会交际中长出来的,同一个词在不同语境里可以有多重解释,母语者靠上下文消解,语言学家却拿不出完备且稳定的语法。既然无法用规则判定一句话是否合法,就把「合法」换成「可能出现」:语言模型是一个函数 P,输入词表 V 上的一段词元序列 W = (w1, w2, …, wL),输出 0 到 1 之间的数,数值越高表示这段序列越像真实语言。

判断模型好坏要同时看两种能力: - 语言能力:符合语法。my dog just ate a chicken bone 的概率应高于词序打乱的 my chicken dog bone just ate a,后者连人类也无法理解。 - 世界知识:语法对但事理不通的要压低。a chicken bone just ate my dog 词序同样合法,但骨头不可能吃狗,概率应更低。

这条双重标准解释了为什么语言模型不能只学句法:它拟合的是「这句话会不会被说出口」的整体分布,其中混着语法、常识与话题习惯。P(W) 是联合概率,语音识别给候选转写排序、机器翻译给译文排序、文本生成挑下一个词,用的都是它。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 语言模型和分词 · 查看原书依据

      一个好的语言模型应该同时具备语言能力和世界知识。例如,语言模型为序列“my dog just ate a chicken bone”(我的狗刚吃了一根鸡骨头)分配的概率应该高于序列“my chicken dog bone just ate a”(我的鸡狗骨头刚吃了)的概率,因为后者不符合语法,人类也无法理解。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml) - 结论依据:原文该段以「一个好的语言模型应该同时具备语言能力和世界知识。例如,语言模型为序列…」为中心展开,本卡的核心判断「形式语言与自然语言的差别不在复杂程度,而在来源。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:一个好的语言模型应该同时具备语言能力和世界知识。例如,语言模型为序列“my dog just ate a chicken bone”(我的狗刚吃了一根鸡骨头)分配的概率应该高于序列“my chicken dog bone just ate a”(我的鸡狗骨头刚吃了)的概率,因为后者不符合语法,人类也无法理解。