知识卡片

结构图卡 · 9547.b · 生成模型:DeepSeek-V4.1-Flash

GPT按提示词循环预测下一个词

理解等级:初级

GPT 的生成不是一次吐出整段文本,而是一个循环:给定提示词,把它编码成索引序列;前向计算得到每个位置上的词表概率分布;取分布中要用的那个词,追加到序列末尾;再把变长的序列重新送进模型,预测下一个词。循环在达到预设长度或遇到终止符号时停止。

每一轮只新增一个词,但整段上下文都要重新过一遍网络,这是自回归生成的固有成本:序列越长,单步计算越贵,生成长文的时间大致随长度增长而增长。书中的实现把这一过程写成 generate 方法,内部反复调用模型并把新词拼回上下文;词嵌入与位置嵌入在每一轮都要重算,因为新词带来了新的位置。

循环能成立的前提是 [[单向掩码只让模型看到过去]]:训练时每个位置都只依据左侧预测下一个词,与推理时逐步追加的方式一致,模型才不会在只有前缀的情况下失去依据。也因此,生成质量的上限由每一步的选词策略决定——分布算出来之后怎么挑,是 [[贪心搜索每步只取最高概率词]] 与 [[束搜索保留多条候选路径]] 的分岔点。

结构图:

graph TD
  A[提示词 Prompt] --> B[编码为词索引序列]
  B --> C[前向计算得下一词概率分布]
  C --> D[按解码策略选出一个词]
  D --> E[新词追加到上下文末尾]
  E --> F{达到长度上限或终止符}
  F -- 否 --> C
  F -- 是 --> G[输出完整文本]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第2章《GPT模型文本生成核心原理与实现》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter006_0002.xhtml) - 结论依据:原文描述从提示词开始编码、计算各词生成概率、选词后加入上下文并循环,直到达到预设长度或遇到终止符号,本卡据此整理为生成循环。 - 原始内容:生成过程从给定的起始文本或提示词(Prompt)开始,将其编码并传递给模型;模型通过自注意力机制捕捉上下文依赖关系,进而计算出每个词的生成概率。