原书出处
大语言模型-基础与前沿 (熊涛)
05 第5章 上下文学习和轻量级微调
表面形式竞争。 图5-17 相同概念的不同字符串之间产生表面形式竞争(图片来源:Holtzman et al,2021)
Talmor et al(2018)认为,由于存在表面形式竞争,直接概率并不适合作为零样本的评分函数。为了解决这个问题,他们建议使用逐点互信息(Pointwise Mutual Information,PMI)来计算特定表面形式的概率。
PMI计算假设(如“当时是凌晨3点”)在前提(如“酒吧关闭是因为”)的情况下的可能性。图5-18给出了各种评分函数策略。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d