知识卡片
语言模型困惑度
困惑度可由每词平均负对数似然取指数得到;单个样本时等于模型赋给正确词的概率的倒数。相同数据和分词条件下,困惑度越低代表模型对这些正确词赋予的整体概率越高;不同数据设置不宜直接比较。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- RNN · 查看原书依据
基于式 (5.12) 计算困惑度,这在代码 ❸ 处完成。为了求每个 epoch 的困惑度,需要计算每个 epoch 的平均损失,然后再据此求困惑度。
参考来源
- 位置:《深度学习进阶:自然语言处理》第5章《RNN》(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0010_split_005.html)
- 结论依据:正文给出相关模型、计算或训练条件。
- 原始内容:基于式 (5.12) 计算困惑度,这在代码 ❸ 处完成。为了求每个 epoch 的困惑度,需要计算每个 epoch 的平均损失,然后再据此求困惑度。