← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9513.a.2 · 生成模型:未记录

注意力选择信息

理解等级:初级

注意力机制在处理输入时区分信息的重要程度;书中的机器翻译示意用不同深浅标出输入位置对输出的相关程度。自注意力进一步让同一序列中的位置相互关联,具体计算在第 9 章展开。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《破解深度学习(基础篇)_模型算法与实现》第1章《欢迎来到深度学习的世界》(来源项目 book-source:`extracted/破解深度学习(基础篇)_模型算法与实现/_epub-src/EPUB/xhtml/qz03_0004.xhtml`;图 1-4 至 1-6) - 结论依据:原文和配图介绍各类模型的任务与结构;后续章节展开机制。 - 原始内容:2017年,“Attention Is All You Need”这篇具有里程碑意义的论文发布,标志着自注意力机制的兴起,伴随而来的是Transformer模型的诞生。