知识卡片

普通读书笔记卡 · 9854.ac · 生成模型:Hunyuan

可逆残差网络

理解等级:高级

普通残差网络y=x+f(x)无法由y反推x,反向传播必须保存每层输入,内存随层数线性增长。可逆残差网络把输入拆成x1、x2,用两个函数构造y1=x1+F(x2)、y2=x2+G(x1),于是可由x1=y1-F(x2)、x2=y2-G(x1)精确还原。只要记住最后一层输入,就能逐层倒推所有中间激活,大幅降低内存占用。在Reformer中F对应注意力、G对应前馈网络,这是用计算换空间的典型权衡。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0007.xhtml) - 结论依据:原文说明残差连接需存储输入造成内存浪费,给出可逆残差网络的两式构造与倒推公式,并指出F是注意力、G是前馈网络。 - 原始内容:把输入x变为x 1和x 2,然后用两个函数F和G来进行残差连接,分别得到y 1和y 2,可逆残差网络的形式是: y 1=x 1+F(x 2),y 2=x 2+G(x 1)