知识卡片
GPT按提示词循环预测下一个词
GPT 的生成不是一次吐出整段文本,而是一个循环:给定提示词,把它编码成索引序列;前向计算得到每个位置上的词表概率分布;取分布中要用的那个词,追加到序列末尾;再把变长的序列重新送进模型,预测下一个词。循环在达到预设长度或遇到终止符号时停止。
每一轮只新增一个词,但整段上下文都要重新过一遍网络,这是自回归生成的固有成本:序列越长,单步计算越贵,生成长文的时间大致随长度增长而增长。书中的实现把这一过程写成 generate 方法,内部反复调用模型并把新词拼回上下文;词嵌入与位置嵌入在每一轮都要重算,因为新词带来了新的位置。
循环能成立的前提是 [[单向掩码只让模型看到过去]]:训练时每个位置都只依据左侧预测下一个词,与推理时逐步追加的方式一致,模型才不会在只有前缀的情况下失去依据。也因此,生成质量的上限由每一步的选词策略决定——分布算出来之后怎么挑,是 [[贪心搜索每步只取最高概率词]] 与 [[束搜索保留多条候选路径]] 的分岔点。
结构图:
graph TD
A[提示词 Prompt] --> B[编码为词索引序列]
B --> C[前向计算得下一词概率分布]
C --> D[按解码策略选出一个词]
D --> E[新词追加到上下文末尾]
E --> F{达到长度上限或终止符}
F -- 否 --> C
F -- 是 --> G[输出完整文本]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- GPT模型文本生成核心原理与实现 · 查看原书依据
生成过程从给定的起始文本或提示词(Prompt)开始,将其编码并传递给模型;模型通过自注意力机制捕捉上下文依赖关系,进而计算出每个词的生成概率。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第2章《GPT模型文本生成核心原理与实现》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter006_0002.xhtml)
- 结论依据:原文描述从提示词开始编码、计算各词生成概率、选词后加入上下文并循环,直到达到预设长度或遇到终止符号,本卡据此整理为生成循环。
- 原始内容:生成过程从给定的起始文本或提示词(Prompt)开始,将其编码并传递给模型;模型通过自注意力机制捕捉上下文依赖关系,进而计算出每个词的生成概率。