← 返回卡片

原书出处

深度学习

12 第12章 应用

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.634Z

练。基于加权平均的注意力机制是平滑、可微的近似,可以使用现有优化算法训练 我们可以认为基于注意力机制的系统有三个组件:

读取器读取原始数据(例如源语句中的源词)并将其转换为分布式表示,其中一个特征向量与每个词的位置相关联。 存储器存储读取器输出的特征向量列表。这可以被理解为包含事实序列的存储器,而之后不必以相同的顺序从中检索,也不必访问全部。

最后一个程序利用存储器的内容顺序地执行任务,每个时间步聚焦于某个存储器元素的内容(或几个,具有不同权重)。 第三组件可

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0005_split_000.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639