知识卡片
引导注意力利用对齐
引导注意力把已知任务结构引入对齐过程。例如语音合成中文字通常按顺序对应输出声音,可鼓励注意力大致从左向右移动,减少无序跳转。这个假设必须符合任务:需要重排内容的场景不一定适合强制单调对齐。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer 7.7.2 引导注意力 · 查看原书依据
序列到序列模型有时候会产生莫名其妙的结果.以语音合成为例,让机器念 4 次“发财”可能没有问题;但如果让机器只念一次“发财”,机器就有可能把“发”省略掉而只念“财”.也许在训练数据里面,这种非常短的句子很少,所以机器无法处理这种非常短的句子.语音识别、语音合成这类任务最适合使用引导注意力.引导注意力要求机器在计算注意力时遵循固定的模式.对于语音合成或语音识别,我们想象中的注意力应该由左至右.如图7.30 所示,红色的曲线代表注意力分数,分数越高代表注意力越大.以语音合成为例,输入是一串文字,在合成声音的时候,显然是从左念到右.所以机器应该先看最左边输入的词产生声音,再看中间的词产生声音,最后看右边的词产生声音.如果机器先看最右边,再看最左边,最后随机看整个句子,那么,这样的注意力显然是有问题的,没有办法合成好的结果.如果对问题本身就已经有一定的理解,知道对于像语音合成这样的问题,注意力的位置都应该由左至右,不如就直接把这个限制放在训练里面.
参考来源
- 位置:《深度学习详解》第7章《Transformer》7.7.2 引导注意力(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`)
- 结论依据:原文以具体序列任务、候选路径或训练推断差异说明对应方法。
- 原始内容:序列到序列模型有时候会产生莫名其妙的结果.以语音合成为例,让机器念 4 次“发财”可能没有问题;但如果让机器只念一次“发财”,机器就有可能把“发”省略掉而只念“财”.也许在训练数据里面,这种非常短的句子很少,所以机器无法处理这种非常短的句子.语音识别、语音合成这类任务最适合使用引导注意力.引导注意力要求机器在计算注意力时遵循固定的模式.对于语音合成或语音识别,我们想象中的注意力应该由左至右.如图7.30 所示,红色的曲线代表注意力分数,分数越高代表注意力越大.以语音合成为例,输入是一串文字,在合成声音的时候,显然是从左念到右.所以机器应该先看最左边输入的词产生声音,再看中间的词产生声音,最后看右边的词产生声音.如果机器先看最右边,再看最左边,最后随机看整个句子,那么,这样的注意力显然是有问题的,没有办法合成好的结果.如果对问题本身就已经有一定的理解,知道对于像语音合成这样的问题,注意力的位置都应该由左至右,不如就直接把这个限制放在训练里面.