原书出处
大语言模型-基础与前沿 (熊涛)
05 第5章 上下文学习和轻量级微调
对于每个训练样本(x, y),研究人员都会查看其他候选训练样本,并根据评分语言模型估计出以x和候选提示为条件的y的概率。
他们将导致高概率的训练样本标记为正样本,将导致低概率的训练样本标记为负样本,并使用对比学习的方式从这些数据中训练出一个提示检索器。研究人员认为,与之前提出的表面相似性启发式方法相比,使用语言模型来标记样本是训练提示检索器的更好方法。
图5-4举例说明了这一点。首先,使用无监督检索器从给定的训练样本中获取一组潜在的候选者。其次,将这些候选者转发给评分语言
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d