知识卡片
贪心与束搜索
贪心解码每步选当前得分最高的词元,局部最优可能错过整体更好的序列。束搜索保留有限数量的候选前缀并继续扩展,近似比较整条路径,但不能保证找到全局最优;模型概率最高也未必符合开放式生成的人类偏好。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer 7.7.3 束搜索 · 查看原书依据
接下来介绍束搜索(beam search),束搜索经常也称为集束搜索或柱搜索.束搜索的思想是用一种比较有效的方法来找近似解,但在某些情况下效果不好,详见论文“The Curious Case Of Neural Text Degeneration”[7].假设要做的事情是完成句子,也就是机器先读一个句子,再把这个句子的后半段补全. 如果用束搜索,就会发现机器在不断地讲重复的话. 如果不用束搜索,增加一些随机性,虽然结果不一定完全好,但看起来至少是比较正常的句子. 有时候对解码器来说,没有找出分数最高的路径,反而结果是比较好的,这要看任务本身的特性. 假设任务的答案非常明确,比如语音识别,对于一句话,识别的结果就只有一种可能. 对这种任务而言,通常束搜索就会比较有帮助. 但如果任务需要机器发挥一点创造力,束搜索就不适合了.
参考来源
- 位置:《深度学习详解》第7章《Transformer》7.7.3 束搜索(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`)
- 结论依据:原文以具体序列任务、候选路径或训练推断差异说明对应方法。
- 原始内容:接下来介绍束搜索(beam search),束搜索经常也称为集束搜索或柱搜索.束搜索的思想是用一种比较有效的方法来找近似解,但在某些情况下效果不好,详见论文“The Curious Case Of Neural Text Degeneration”[7].假设要做的事情是完成句子,也就是机器先读一个句子,再把这个句子的后半段补全. 如果用束搜索,就会发现机器在不断地讲重复的话. 如果不用束搜索,增加一些随机性,虽然结果不一定完全好,但看起来至少是比较正常的句子. 有时候对解码器来说,没有找出分数最高的路径,反而结果是比较好的,这要看任务本身的特性. 假设任务的答案非常明确,比如语音识别,对于一句话,识别的结果就只有一种可能. 对这种任务而言,通常束搜索就会比较有帮助. 但如果任务需要机器发挥一点创造力,束搜索就不适合了.