知识卡片
注意力选择信息
注意力机制在处理输入时区分信息的重要程度;书中的机器翻译示意用不同深浅标出输入位置对输出的相关程度。自注意力进一步让同一序列中的位置相互关联,具体计算在第 9 章展开。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 欢迎来到深度学习的世界 · 查看原书依据
2017年,“Attention Is All You Need”这篇具有里程碑意义的论文发布,标志着自注意力机制的兴起,伴随而来的是Transformer模型的诞生。
参考来源
- 位置:《破解深度学习(基础篇)_模型算法与实现》第1章《欢迎来到深度学习的世界》(来源项目 book-source:`extracted/破解深度学习(基础篇)_模型算法与实现/_epub-src/EPUB/xhtml/qz03_0004.xhtml`;图 1-4 至 1-6)
- 结论依据:原文和配图介绍各类模型的任务与结构;后续章节展开机制。
- 原始内容:2017年,“Attention Is All You Need”这篇具有里程碑意义的论文发布,标志着自注意力机制的兴起,伴随而来的是Transformer模型的诞生。