← 返回卡片

原书出处

深度学习详解

07 Transformer 7.7.2 引导注意力

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.559Z

序列到序列模型有时候会产生莫名其妙的结果.以语音合成为例,让机器念 4 次“发财”可能没有问题;但如果让机器只念一次“发财”,机器就有可能把“发”省略掉而只念“财”.也许在训练数据里面,这种非常短的句子很少,所以机器无法处理这种非常短的句子.语音识别、语音合成这类任务最适合使用引导注意力.引导注意力要求机器在计算注意力时遵循固定的模式.对于语音合成或语音识别,我们想象中的注意力应该由左至右.如图7.30 所示,红色的曲线代表注意力分数,分数越高代表注意力越大.以语音合成为例,输入是一串文字,在合成声音的时候,显然是从左念到右.所以机器应该先看最左边输入的词产生声音,再看中间的词产生声音,最后看右边的词产生声音.如果机器先看最右边,再看最左边,最后随机看整个句子,那么,这样的注意力显然是有问题的,没有办法合成好的结果.如果对问题本身就已经有一定的理解,知道对于像语音合成这样的问题,注意力的位置都应该由左至右,不如就直接把这个限制放在训练里面.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc