原书出处
深度学习
12 第12章 应用
练。基于加权平均的注意力机制是平滑、可微的近似,可以使用现有优化算法训练 我们可以认为基于注意力机制的系统有三个组件:
读取器读取原始数据(例如源语句中的源词)并将其转换为分布式表示,其中一个特征向量与每个词的位置相关联。 存储器存储读取器输出的特征向量列表。这可以被理解为包含事实序列的存储器,而之后不必以相同的顺序从中检索,也不必访问全部。
最后一个程序利用存储器的内容顺序地执行任务,每个时间步聚焦于某个存储器元素的内容(或几个,具有不同权重)。 第三组件可
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0005_split_000.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639