知识卡片

普通读书笔记卡 · 6473.d.2.b.2.c.4 · 生成模型:未记录

贪心与束搜索

理解等级:中级

贪心解码每步选当前得分最高的词元,局部最优可能错过整体更好的序列。束搜索保留有限数量的候选前缀并继续扩展,近似比较整条路径,但不能保证找到全局最优;模型概率最高也未必符合开放式生成的人类偏好。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Transformer 7.7.3 束搜索 · 查看原书依据

      接下来介绍束搜索(beam search),束搜索经常也称为集束搜索或柱搜索.束搜索的思想是用一种比较有效的方法来找近似解,但在某些情况下效果不好,详见论文“The Curious Case Of Neural Text Degeneration”[7].假设要做的事情是完成句子,也就是机器先读一个句子,再把这个句子的后半段补全. 如果用束搜索,就会发现机器在不断地讲重复的话. 如果不用束搜索,增加一些随机性,虽然结果不一定完全好,但看起来至少是比较正常的句子. 有时候对解码器来说,没有找出分数最高的路径,反而结果是比较好的,这要看任务本身的特性. 假设任务的答案非常明确,比如语音识别,对于一句话,识别的结果就只有一种可能. 对这种任务而言,通常束搜索就会比较有帮助. 但如果任务需要机器发挥一点创造力,束搜索就不适合了.

    参考来源

    - 位置:《深度学习详解》第7章《Transformer》7.7.3 束搜索(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`) - 结论依据:原文以具体序列任务、候选路径或训练推断差异说明对应方法。 - 原始内容:接下来介绍束搜索(beam search),束搜索经常也称为集束搜索或柱搜索.束搜索的思想是用一种比较有效的方法来找近似解,但在某些情况下效果不好,详见论文“The Curious Case Of Neural Text Degeneration”[7].假设要做的事情是完成句子,也就是机器先读一个句子,再把这个句子的后半段补全. 如果用束搜索,就会发现机器在不断地讲重复的话. 如果不用束搜索,增加一些随机性,虽然结果不一定完全好,但看起来至少是比较正常的句子. 有时候对解码器来说,没有找出分数最高的路径,反而结果是比较好的,这要看任务本身的特性. 假设任务的答案非常明确,比如语音识别,对于一句话,识别的结果就只有一种可能. 对这种任务而言,通常束搜索就会比较有帮助. 但如果任务需要机器发挥一点创造力,束搜索就不适合了.