知识卡片

普通读书笔记卡 · 9547.d · 生成模型:DeepSeek-V4.1-Flash

束搜索保留多条候选路径

理解等级:中级

束搜索(Beam Search)在每一步不只留一个词,而是保留若干条得分最高的候选序列,这个数量叫束宽。每轮扩展时,把当前所有候选各自接上若干可能的下一个词,用累计得分排序,只留下前束宽条,其余丢弃;生成结束后,从保留下来的完整路径中选出整体最优的一条作为结果。

它与 [[贪心搜索每步只取最高概率词]] 的差别在于决策的时间尺度。贪心在每步做局部最优,束搜索把若干条假设同时推进若干步,让暂时得分稍低、但后续更有希望的路径有机会活下来,因此更可能找到整体得分更高的句子,书中的示例也显示两者会生成不同的词序列。当束宽取 1 时,它就退化回贪心。

代价是计算与内存都随束宽放大:每一步要评估的候选数量约为束宽的若干倍,需要同时维护多条上下文并各自前向,生成长文本时开销明显高于贪心。此外,束搜索优化的是模型给出的概率,概率高不等于读起来自然,过大的束宽常导致输出趋于保守、单调。因此它适合对质量要求高、可以接受更慢速度的场景,而不是所有生成任务的默认选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第2章《GPT模型文本生成核心原理与实现》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter006_0002.xhtml) - 结论依据:原文说明束搜索"在每一步中保留多个候选路径(称为'束宽'),在生成过程的最终阶段选择最优路径",并指出其"计算复杂度高于Greedy Search,但生成质量往往更高"。 - 原始内容:总的来说,Greedy Search就像“眼前有啥就拿啥”,速度快但不一定最优;Beam Search则是“多个方案对比筛选,最后选择最佳组合”,可以获得更好的结果,但花费时间更长。