原书出处
大语言模型-基础与前沿 (熊涛)
02 第2章 语言模型和分词
单词后面可能出现的单词数量越多。例如,假设每个数字的出现概率相等,那么由英语中的数字0~9组成的迷你语言的困惑度为10。
然而,单词在训练集中出现的频率也会影响困惑度。例如,如果数字0在训练集中出现91次,而其他数字每个只出现一次,那么主要包含0的测试集的困惑度就会降低,因为下一个数字为0的概率要高得多。在这种情况下,即使分支系数保持不变,加权分支系数也会变小。
总之,像困惑度这样的内部评估指标提供了一种快速评估语言模型质量的方法,而外部评估则衡量语言模型在特定应用程序或任务中的有
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d