知识卡片
贪心与束搜索的盲点
确定性搜索的目标是找概率最高的序列,代价与失效方式各不相同。
| 方法 | 做法 | 成本 | 典型失效 |
|---|---|---|---|
| 贪心 | 每步取概率最高的词元 | 最低 | 早期错误无法纠正,容易陷入重复循环 |
| 穷举 | 枚举所有序列取最优 | 指数级,不可用 | 无 |
| 束搜索 | 保留 k 条最优部分假设逐层扩展 | 约为贪心的 k 倍 | 结果趋同、偏短、缺少多样性 |
使用要点:
- 束宽 k 是唯一的调节旋钮,k 越大越可能找到高概率串,但更慢,多条假设往往只差几个词。
- 遇到序列结束词元的假设要取出归档,剩下的继续扩展,最后从完成的假设里选。
- 必须做长度归一化:对数概率随长度累加单调下降,不归一化就会系统性偏向短句。
共同盲点:最大似然训练出的生成器,其最可能字符串常常不像人类语言、质量也不高,概率质量集中在乏味重复的续写上,搜索得越彻底越容易撞上这些高概率陷阱。因此束搜索适合翻译这类输出空间窄、评价明确的任务,不适合开放创作。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
贪心解码在每个步骤选择最有可能的输出,而不考虑该选择对后续决策的影响。尽管此方法计算高效且易于实现,但它并不总能生成最佳输出序列。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「贪心解码在每个步骤选择最有可能的输出,而不考虑该选择对后续决策的影响…」为中心展开,本卡的核心判断「确定性搜索的目标是找概率最高的序列,代价与失效方式各不相同。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:贪心解码在每个步骤选择最有可能的输出,而不考虑该选择对后续决策的影响。尽管此方法计算高效且易于实现,但它并不总能生成最佳输出序列。