← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9687.f · 生成模型:DeepSeek-V4.1-Flash

中间填充让模型补中段

理解等级:中级

自回归模型只会往后续写,但很多需求是在中间插入:代码补全要填光标处,编辑器要在段落之间加一句。中间填充(FIM)不改架构,只改数据。

做法:把文档随机切成前缀、中间、后缀三部分(长度大体相等),给每段加上标记词元 pre、mid、suf,中间段末尾再加结束词元 eot,然后按“前缀、中间、后缀”的顺序重新拼接,在这个被重排的序列上照常做自回归训练。模型于是学会:看到前缀与后缀标记后先写出中段,再接着写后缀。

为什么免费:只要训练数据里偶尔保留原始顺序,从左到右的常规续写能力基本不受损,困惑度与采样质量都能维持。这就是 FIM-for-free——新增的是定性能力,而非指标提升。

边界:需要改造数据管线并调好重排比例,比例过高削弱常规续写、过低学不牢插入;它也无法真正回填已生成的内容,插入仍是一次左到右的生成。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml) - 结论依据:原文该段以「为实现这一目标而提出的方法是中间填充(Fill-In-the-Mid…」为中心展开,本卡的核心判断「自回归模型只会往后续写,但很多需求是在中间插入:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:为实现这一目标而提出的方法是中间填充(Fill-In-the-Middle,FIM)训练,即随机将上下文划分为“前缀”“中间”和“后缀”3个部分,预期长度相等。