原书出处
大语言模型-基础与前沿 (熊涛)
05 第5章 上下文学习和轻量级微调
子作为证据来推断文档的潜在概念,从而学习预测下一个词元。如果模型可以使用上下文中的样本推断提示概念,则会进行上下文学习。
定位学习能力的过程被视为贝叶斯推理,其中提示为模型提供证据,以锐化概念的后验分布。理想情况下,后验分布集中在提示概念上,提示中的样本越多,后验分布就越集中。
这一解释的逻辑飞跃在于,尽管提示是从提示分布中采样的,而提示分布可能与预训练分布大相径庭,但语言模型仍会从上下文样本中推
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d