知识卡片

普通读书笔记卡 · 9688.k · 生成模型:DeepSeek-V4.1-Flash

ICL 为什么有效

理解等级:高级

贝叶斯概念推断:预训练让模型学会“文档背后有一个潜在概念(主题、体裁、任务)”,概念决定词的分布与写法。提示就是证据,模型据此更新概念的后验;示例越多,后验越集中到“这个任务”上。即使提示分布与预训练分布并不匹配,只要样本能提供足够证据,推断仍可进行。在带潜在概念结构的合成数据上,Transformer 与 LSTM 都涌现出 ICL。

函数学习:把 ICL 看成“从示例中拟合一个函数”。从头训练的 Transformer 能在上下文中学会未见过的线性函数,效果接近最优最小二乘;也能学会稀疏线性函数、两层网络、决策树,并在训练—提示分布偏移、示例—查询偏移下工作。

隐式优化:有研究发现 Transformer 会把一个线性模型写进隐藏状态;更有影响的观点是注意力具有梯度下降的对偶形式,预训练模型像元优化器,用前向计算产生“元梯度”。

三种解释并不互斥:概念推断回答“任务从哪来”,函数学习回答“能学到什么”,隐式优化回答“用什么算法在学”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml) - 结论依据:原文该段以「定位学习能力的过程被视为贝叶斯推理,其中提示为模型提供证据,以锐化概…」为中心展开,本卡的核心判断「贝叶斯概念推断:预训练让模型学会“文档背后有一个潜在概念(主题、体裁、任务)”,概念决定词的分布与写法。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:定位学习能力的过程被视为贝叶斯推理,其中提示为模型提供证据,以锐化概念的后验分布。理想情况下,后验分布集中在提示概念上,提示中的样本越多,后验分布就越集中。