原书出处
大语言模型-基础与前沿 (熊涛)
02 第2章 语言模型和分词
数字,表示词元序列的质量。高概率表示高质量序列更有可能在语言中出现,而低概率表示低质量序列不太可能在语言中出现。 12L
一个好的语言模型应该同时具备语言能力和世界知识。例如,语言模型为序列“my dog just ate a chicken bone”(我的狗刚吃了一根鸡骨头)分配的概率应该高于序列“my chicken dog bone just ate a”(我的鸡狗骨头刚吃了)的概率,因为后者不符合语法,人类也无法理解。
这是因为一个好的语言模型应该能够识别语法正确且有意义的句子,并为其分配更高的概率。此外,尽管序列“a chicken b
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d