← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

05 第5章 上下文学习和轻量级微调

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.839Z

表面形式竞争。 图5-17 相同概念的不同字符串之间产生表面形式竞争(图片来源:Holtzman et al,2021)

Talmor et al(2018)认为,由于存在表面形式竞争,直接概率并不适合作为零样本的评分函数。为了解决这个问题,他们建议使用逐点互信息(Pointwise Mutual Information,PMI)来计算特定表面形式的概率。

PMI计算假设(如“当时是凌晨3点”)在前提(如“酒吧关闭是因为”)的情况下的可能性。图5-18给出了各种评分函数策略。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d