← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9685.g · 生成模型:DeepSeek-V4.1-Flash

困惑度:平均分支系数

理解等级:中级

困惑度(perplexity,PPL)是语言模型最常用的内部评估指标,定义为测试集概率的逆,再按词元数开方:

PPL = P(w1 … wN) 的 −1/N 次方 = (1 / P(W)) 的 1/N 次方

模型给测试集打的概率越高,逆概率越小,PPL 越低,模型越好。开 N 次方是为了消除句长影响:它是每个位置逆概率的几何平均,可以理解为模型每步平均要在多少个等概率候选之间犹豫。

数值直觉: - 若每个词元之后有 k 个等可能接续,PPL 等于 k。由数字 0~9 组成、各数字等概率的迷你语言,PPL 就是 10。 - PPL 越低越好,但没有绝对合格线。它随测试集难度、词表大小、分词粒度变化,只能在同测试集、同分词口径下横向比较。

易忽略之处:定义里每个位置权重相同,衡量的是平均惊讶程度,不是最坏情况;一个模型可以多数常见词很准、关键生僻词极差,而 PPL 看起来仍不错。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 语言模型和分词 · 查看原书依据

      困惑度(Perplexity)是一种常用的内部评估指标,用于衡量语言模型的有效性。它被定义为按单词数量归一化的测试集的逆概率。 可以将困惑度可以看作一种语言平均分支系数的度量。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml) - 结论依据:原文该段以「困惑度(Perplexity)是一种常用的内部评估指标,用于衡量语言…」为中心展开,本卡的核心判断「困惑度(perplexity,PPL)是语言模型最常用的内部评估指标,定义为测试集概率的逆,再按词元数开方:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:困惑度(Perplexity)是一种常用的内部评估指标,用于衡量语言模型的有效性。它被定义为按单词数量归一化的测试集的逆概率。 可以将困惑度可以看作一种语言平均分支系数的度量。