知识卡片

普通读书笔记卡 · 9893.m · 生成模型:Hunyuan

注意力机制三组件

理解等级:中级

用固定大小的向量概括很长的句子会丢失语义细节,注意力机制的做法是先通读全句获得上下文,再逐词翻译,每次聚焦输入的不同部分以收集当前所需的语义。其数学本质是对特征向量做加权平均:权重由模型自身产生,通常经相关性得分的softmax得到,集中在某个时间步附近,从而形成可微、能用梯度下降训练的平滑读取机制。系统可拆为三个组件——读取器把源词转为带位置的特征向量,存储器保存这些向量以便非顺序、非全量访问,程序在每个时间步按权重读取存储器并生成输出。把两种语言的对应词对齐时,可学习跨语言词嵌入变换,其对齐错误率优于传统短语表频率方法。直接索引虽更省计算却不可导,这正是用加权平均的根本原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 应用 · 查看原书依据

      读取器读取原始数据(例如源语句中的源词)并将其转换为分布式表示,其中一个特征向量与每个词的位置相关联。 存储器存储读取器输出的特征向量列表。这可以被理解为包含事实序列的存储器,而之后不必以相同的顺序从中检索,也不必访问全部。

    参考来源

    - 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:12.4.5.1给出注意力的加权平均本质、三组件划分与对齐应用,并说明其相对直接索引的可微优势。 - 原始内容:读取器读取原始数据(例如源语句中的源词)并将其转换为分布式表示,其中一个特征向量与每个词的位置相关联。 存储器存储读取器输出的特征向量列表。这可以被理解为包含事实序列的存储器,而之后不必以相同的顺序从中检索,也不必访问全部。