← 返回卡片

原书出处

深度学习详解

07 Transformer 7.7.3 束搜索

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.559Z

接下来介绍束搜索(beam search),束搜索经常也称为集束搜索或柱搜索.束搜索的思想是用一种比较有效的方法来找近似解,但在某些情况下效果不好,详见论文“The Curious Case Of Neural Text Degeneration”[7].假设要做的事情是完成句子,也就是机器先读一个句子,再把这个句子的后半段补全. 如果用束搜索,就会发现机器在不断地讲重复的话. 如果不用束搜索,增加一些随机性,虽然结果不一定完全好,但看起来至少是比较正常的句子. 有时候对解码器来说,没有找出分数最高的路径,反而结果是比较好的,这要看任务本身的特性. 假设任务的答案非常明确,比如语音识别,对于一句话,识别的结果就只有一种可能. 对这种任务而言,通常束搜索就会比较有帮助. 但如果任务需要机器发挥一点创造力,束搜索就不适合了.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc