知识卡片

普通读书笔记卡 · 6480.k.3.a · 生成模型:GPT-6(具体型号未记录)

困惑度是平均预测损失的指数

理解等级:中级

对 N 个目标词,以自然对数计算平均负对数概率 L=−(1/N)Σₜlog p(wₜ|上下文),困惑度 PPL=exp(L)。在相同数据、分词和词表条件下,数值较低表示模型给真实词的平均概率较高。它可类比等概率候选数,但不是实际候选词的计数;不同分词、词表或数据集的困惑度不能直接比较。书中 193.053 是示例测试输出,本次未运行。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第15章《LSTM长短记,长序依赖可追忆》,15.10 Penn Treebank 实战(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter20_0010.xhtml#txt015_29) - 结论依据:正文、批次示意及代码;数学定义和适用边界用于纠正简化说法。 - 原始内容:在训练语言模型时,我们常用perplexity(混乱度)作为模型的性能评估标准