← 返回卡片

原书出处

深度学习详解

06 自注意力机制 6.5 截断自注意力

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.558Z

截断自注意力(truncated self-attention)可以处理向量序列过长的问题,如图6.35所示,截断自注意力在做自注意力的时候不会看一整句话,而是只看一个小的范围,这个范围是人为设定的.在做语音识别的时候,如果要辨识某个位置有什么样的音标,以及这个位置有什么样的内容,那么只要看这句话及其前后一定范围内的信息,就可以做出判断.在做自注意力的时候,也许没必要让自注意力考虑整个句子,以提高运算的速度.这就是截断自注意力.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter06.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc