← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9687.k · 生成模型:DeepSeek-V4.1-Flash

贪心与束搜索的盲点

理解等级:中级

确定性搜索的目标是找概率最高的序列,代价与失效方式各不相同。

方法 做法 成本 典型失效
贪心 每步取概率最高的词元 最低 早期错误无法纠正,容易陷入重复循环
穷举 枚举所有序列取最优 指数级,不可用 无
束搜索 保留 k 条最优部分假设逐层扩展 约为贪心的 k 倍 结果趋同、偏短、缺少多样性

使用要点:

  • 束宽 k 是唯一的调节旋钮,k 越大越可能找到高概率串,但更慢,多条假设往往只差几个词。
  • 遇到序列结束词元的假设要取出归档,剩下的继续扩展,最后从完成的假设里选。
  • 必须做长度归一化:对数概率随长度累加单调下降,不归一化就会系统性偏向短句。

共同盲点:最大似然训练出的生成器,其最可能字符串常常不像人类语言、质量也不高,概率质量集中在乏味重复的续写上,搜索得越彻底越容易撞上这些高概率陷阱。因此束搜索适合翻译这类输出空间窄、评价明确的任务,不适合开放创作。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml) - 结论依据:原文该段以「贪心解码在每个步骤选择最有可能的输出,而不考虑该选择对后续决策的影响…」为中心展开,本卡的核心判断「确定性搜索的目标是找概率最高的序列,代价与失效方式各不相同。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:贪心解码在每个步骤选择最有可能的输出,而不考虑该选择对后续决策的影响。尽管此方法计算高效且易于实现,但它并不总能生成最佳输出序列。