知识卡片
Transformer及其应用
Transformer 源于 2017 年论文《Attention is all you need》,用 Self-Attention 取代 LSTM,摆脱 Encoder-Decoder 必须绑定 CNN/RNN 的固有模式,在降低计算量、提高并行效率的同时效果更好。它的两大亮点是并行处理序列与用 Self-Attention 解决长期依赖,因此成为众多预训练模型的特征抽取器,并向推荐、搜索乃至视觉领域扩张。在推荐中,阿里的 BST 用多头自注意力替换 LSTM 捕捉用户行为序列,已部署于淘宝精排;在视觉中,IPT 把图像块视作“word”,用编码器—解码器完成超分辨率、去噪、去雨,数据规模增大后持续超越 CNN 类方法 EDSR。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 万物皆可嵌入 · 查看原书依据
该论文使用Self-Attention的结构代替LSTM,抛弃了之前传统的Encoder-Decoder模型必须结合CNN或者RNN的固有模式,在减少计算量和提高并行效率的同时还取得了更好的结果。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0006.xhtml)
- 结论依据:原文阐述了 Transformer 的两大亮点,并分别给出 BST 在推荐与 IPT 在视觉处理中的应用与对比结果。
- 原始内容:该论文使用Self-Attention的结构代替LSTM,抛弃了之前传统的Encoder-Decoder模型必须结合CNN或者RNN的固有模式,在减少计算量和提高并行效率的同时还取得了更好的结果。