← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9685.h · 生成模型:DeepSeek-V4.1-Flash

困惑度的可比性边界

理解等级:高级

困惑度好算,因此最容易被误用。三个边界必须同时记住。

一、对词频分布敏感,可能被压低。 若训练集中数字 0 出现 91 次、其余数字各 1 次,那么以 0 为主的测试集会得到很低的 PPL,因为下一个是 0 的概率本来就高。此时分支系数(有多少种可能接续)没变,变小的是加权分支系数。PPL 下降可能只说明测试集分布与训练集重合,不说明语言能力提升。

二、数值依赖分词单位,不能跨分词器比较。 定义的分母是词元数 N,同一段文本按词切、按字符切、按子词切,得到完全不同的 N 和不同的每步概率,几何平均自然不同。字符级模型因为每步候选少,PPL 会系统性偏低,这并不代表它更强。跨词表大小、跨语言同理无效。报告 PPL 必须同时交代测试集与分词器版本。

三、只测概率拟合,不测任务效果。 PPL 是内部评估,快且与任务无关,适合做消融;但下游真正关心的是翻译质量、识别错误率这类外部评估。PPL 更低而下游更差的组合并不罕见,尤其在领域分布不一致时。两者要一起看,内部指标只用于筛方案。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 语言模型和分词 · 查看原书依据

      然而,单词在训练集中出现的频率也会影响困惑度。例如,如果数字0在训练集中出现91次,而其他数字每个只出现一次,那么主要包含0的测试集的困惑度就会降低,因为下一个数字为0的概率要高得多。在这种情况下,即使分支系数保持不变,加权分支系数也会变小。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml) - 结论依据:原文该段以「然而,单词在训练集中出现的频率也会影响困惑度。例如,如果数字0在训练…」为中心展开,本卡的核心判断「困惑度好算,因此最容易被误用。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:然而,单词在训练集中出现的频率也会影响困惑度。例如,如果数字0在训练集中出现91次,而其他数字每个只出现一次,那么主要包含0的测试集的困惑度就会降低,因为下一个数字为0的概率要高得多。在这种情况下,即使分支系数保持不变,加权分支系数也会变小。