知识卡片
中间填充让模型补中段
自回归模型只会往后续写,但很多需求是在中间插入:代码补全要填光标处,编辑器要在段落之间加一句。中间填充(FIM)不改架构,只改数据。
做法:把文档随机切成前缀、中间、后缀三部分(长度大体相等),给每段加上标记词元 pre、mid、suf,中间段末尾再加结束词元 eot,然后按“前缀、中间、后缀”的顺序重新拼接,在这个被重排的序列上照常做自回归训练。模型于是学会:看到前缀与后缀标记后先写出中段,再接着写后缀。
为什么免费:只要训练数据里偶尔保留原始顺序,从左到右的常规续写能力基本不受损,困惑度与采样质量都能维持。这就是 FIM-for-free——新增的是定性能力,而非指标提升。
边界:需要改造数据管线并调好重排比例,比例过高削弱常规续写、过低学不牢插入;它也无法真正回填已生成的内容,插入仍是一次左到右的生成。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
为实现这一目标而提出的方法是中间填充(Fill-In-the-Middle,FIM)训练,即随机将上下文划分为“前缀”“中间”和“后缀”3个部分,预期长度相等。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「为实现这一目标而提出的方法是中间填充(Fill-In-the-Mid…」为中心展开,本卡的核心判断「自回归模型只会往后续写,但很多需求是在中间插入:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:为实现这一目标而提出的方法是中间填充(Fill-In-the-Middle,FIM)训练,即随机将上下文划分为“前缀”“中间”和“后缀”3个部分,预期长度相等。