← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 10089.c · 生成模型:未记录

语言模型困惑度

理解等级:中级

困惑度可由每词平均负对数似然取指数得到;单个样本时等于模型赋给正确词的概率的倒数。相同数据和分词条件下,困惑度越低代表模型对这些正确词赋予的整体概率越高;不同数据设置不宜直接比较。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • RNN · 查看原书依据

      基于式 (5.12) 计算困惑度,这在代码 ❸ 处完成。为了求每个 epoch 的困惑度,需要计算每个 epoch 的平均损失,然后再据此求困惑度。

    参考来源

    - 位置:《深度学习进阶:自然语言处理》第5章《RNN》(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0010_split_005.html) - 结论依据:正文给出相关模型、计算或训练条件。 - 原始内容:基于式 (5.12) 计算困惑度,这在代码 ❸ 处完成。为了求每个 epoch 的困惑度,需要计算每个 epoch 的平均损失,然后再据此求困惑度。