知识卡片
困惑度衡量预测的不确定性
定义:困惑度 PPL = 2^H,H 是模型对目标句每个词的平均交叉熵(以 2 为底)。等价写法是指标对每个词预测概率取对数、求平均后取负、再取指数:PPL = exp(−(1/n)·Σ log p(w_i))。n 是词或词元数,用于归一化,使不同长度句子可比。
怎么读:它量化模型在给定上下文中预测下一个词的平均不确定性——越低越好。书中例子:概率序列 [0.99, 0.85, 0.89, …] 得较低困惑度,混入 0.13、0.05 等低概率后升到约 2.419。
假设与失效边界:它是内在指标,衡量的是对某份文本的拟合程度,不是答案的正确性、有用性或事实性——低困惑度模型照样可以一本正经地编。它按词元归一化,分词器不同则数值不可直接比较;在与评测语料风格一致的文本上天然占优。所以它适合比较同分词器、同语料的模型,不适合当生成质量的唯一判据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 评测生成式大模型 · 查看原书依据
通常用于评测文本生成模型和文本补全模型。本质上,它量化了模型在给定上下文中预测下一个词的平均不确定性——困惑度越低,模型的表现就越好。
参考来源
- 位置:《大模型技术30讲》第19讲 评测生成式大模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0025.xhtml)
- 结论依据:19.1.1 节:说明困惑度由交叉熵导出、以 2 为底计算、量化预测下一个词的平均不确定性,并给出概率序列对应的计算结果;19.1 节说明其为内在指标。
- 原始内容:通常用于评测文本生成模型和文本补全模型。本质上,它量化了模型在给定上下文中预测下一个词的平均不确定性——困惑度越低,模型的表现就越好。