知识卡片
贪心搜索每步只取最高概率词
贪心搜索(Greedy Search)是最直接的解码方式:在 [[GPT按提示词循环预测下一个词]] 的每一步,从模型给出的词表概率分布中取概率最高的那个词,追加进上下文,再继续下一步。没有回溯,没有候选池,每一步只有一条路。
它的优点是成本最低:每步只需一次前向、一次取最大值,生成的确定性强,同一提示词总是得到同一结果。缺点是只看眼前——当前概率最高的词未必通向整体最优的句子。一旦某个词被选中,它就永久进入上下文并影响后续所有预测,早期的一次次优选择无法撤销,容易累积成重复、平淡或前后不搭的文本。书中把这一现象概括为”可能导致局部最优,生成的文本质量欠佳”,示例输出也显示它容易产生重复片段。
这也解释了一个常见直觉:贪心搜索在单步准确率上并不差,问题出在整句层面。它优化的是每一步的条件概率,而人评判的是整段文本的连贯与信息量,两者并不等价。若希望模型在整句层面做比较,就必须同时保留多条候选路径,这正是 [[束搜索保留多条候选路径]] 的出发点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- GPT模型文本生成核心原理与实现 · 查看原书依据
Greedy Search每次选择最高概率的词生成,虽然简单高效,但可能导致局部最优,生成的文本质量欠佳。而Beam Search在每一步中保留多个候选路径(称为“束宽”),在生成过程的最终阶段选择最优路径,从而提高生成的多样性和流畅度。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第2章《GPT模型文本生成核心原理与实现》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter006_0002.xhtml)
- 结论依据:原文称贪心搜索"每次选择最高概率的词生成,虽然简单高效,但可能导致局部最优",并在结果解析中指出其"内容易出现重复和局部最优现象"。
- 原始内容:Greedy Search每次选择最高概率的词生成,虽然简单高效,但可能导致局部最优,生成的文本质量欠佳。而Beam Search在每一步中保留多个候选路径(称为“束宽”),在生成过程的最终阶段选择最优路径,从而提高生成的多样性和流畅度。