知识卡片
自注意力与局部注意力
自注意力让序列元素之间计算查询、键和值的关系,可跨远距离聚合信息;局部注意力只在部分邻域内计算,通常减少长序列计算和内存需求,但可能遗漏窗口外关系。两者应按可用上下文和任务要求选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第7章 深度学习
原书出处 · 1 处
- 深度学习 · 查看原书依据
局部注意力是一种只考虑输入序列中一部分元素的注意力机制
参考来源
- 位置:《现代人工智能技术》第7章《深度学习》(来源项目:book-source;源文件:extracted/现代人工智能技术/_epub-src/EPUB/xhtml/chapter9.xhtml)
- 结论依据:原文说明自注意力处理序列元素间关系和局部注意力的计算范围取舍。
- 原始内容:局部注意力是一种只考虑输入序列中一部分元素的注意力机制