← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9547.g · 生成模型:DeepSeek-V4.1-Flash

困惑度是交叉熵损失取指数

理解等级:中级

困惑度(Perplexity)衡量模型对下一个词的预测难度。计算方式很直接:用模型对目标文本每个位置输出的词概率分布,与真实的下一个词标签算交叉熵损失,再对平均损失取指数。书中的计算类即按此实现——用 logits 与标签求交叉熵,再取指数得到困惑度。

取指数这一步是为了把损失换回”词”的量纲。交叉熵是负对数概率的平均值,取指数后得到的数值可以读作:模型在每一步平均要在多少个候选词之间犹豫。若模型对正确词给出很高概率,损失小、困惑度低;若几乎随机猜,困惑度就接近词表规模。示例中模型困惑度从 998.2345 降到 34.56,正是因为后者面对的是与参考高度重合的生成文本。

使用时有几个前提。困惑度只在同一分词方式、同一词表的模型之间可比,词表不同则数值没有对照意义;它是对整段文本的平均,长文本内部的波动会被平均掉,所以 [[困惑度低不等于文本质量高]] 强调它衡量的是拟合程度而非可读性。尽管如此,它不需要人工标注,训练中随时可算,因此成为监控收敛与比较微调效果的首选内部指标。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • GPT模型文本生成核心原理与实现 · 查看原书依据

      困惑度基于模型的预测概率分布,表示模型对下一个词的预测难度。具体而言,困惑度越低,表明模型对生成任务的适应性越好,生成的文本越连贯。困惑度的计算通常通过模型输出的交叉熵损失实现,即计算预测词分布与真实词标签之间的误差,再对损失值取指数。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第2章《GPT模型文本生成核心原理与实现》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter006_0003.xhtml) - 结论依据:原文说明困惑度"通过模型输出的交叉熵损失实现,即计算预测词分布与真实词标签之间的误差,再对损失值取指数",并指出数值越低表示模型适应性越好。 - 原始内容:困惑度基于模型的预测概率分布,表示模型对下一个词的预测难度。具体而言,困惑度越低,表明模型对生成任务的适应性越好,生成的文本越连贯。困惑度的计算通常通过模型输出的交叉熵损失实现,即计算预测词分布与真实词标签之间的误差,再对损失值取指数。