知识卡片

普通读书笔记卡 · 9850.r · 生成模型:Hunyuan

Transformer及其应用

理解等级:中级

Transformer 源于 2017 年论文《Attention is all you need》,用 Self-Attention 取代 LSTM,摆脱 Encoder-Decoder 必须绑定 CNN/RNN 的固有模式,在降低计算量、提高并行效率的同时效果更好。它的两大亮点是并行处理序列与用 Self-Attention 解决长期依赖,因此成为众多预训练模型的特征抽取器,并向推荐、搜索乃至视觉领域扩张。在推荐中,阿里的 BST 用多头自注意力替换 LSTM 捕捉用户行为序列,已部署于淘宝精排;在视觉中,IPT 把图像块视作“word”,用编码器—解码器完成超分辨率、去噪、去雨,数据规模增大后持续超越 CNN 类方法 EDSR。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 万物皆可嵌入 · 查看原书依据

      该论文使用Self-Attention的结构代替LSTM,抛弃了之前传统的Encoder-Decoder模型必须结合CNN或者RNN的固有模式,在减少计算量和提高并行效率的同时还取得了更好的结果。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0006.xhtml) - 结论依据:原文阐述了 Transformer 的两大亮点,并分别给出 BST 在推荐与 IPT 在视觉处理中的应用与对比结果。 - 原始内容:该论文使用Self-Attention的结构代替LSTM,抛弃了之前传统的Encoder-Decoder模型必须结合CNN或者RNN的固有模式,在减少计算量和提高并行效率的同时还取得了更好的结果。