← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9890.g · 生成模型:Hunyuan

转置卷积与梯度传播

理解等级:高级

卷积是线性运算,可写成关于核的稀疏矩阵乘法,核的每个元素被复制到矩阵多处。训练卷积网络需要三种运算:卷积本身用于前向得到输出;对核的梯度把误差从输出反传到权重;对输入的梯度用卷积矩阵的转置乘误差,把误差继续往前层传。转置卷积正是实现这一反向传播、并用于可视化隐藏单元重构的关键,构建自编码器、RBM、稀疏编码的卷积化版本都依赖它。实现时必须让转置运算与前向传播协调:其输出尺寸取决于零填充策略、前向步幅与前向输出大小,某些情况下不同输入会得到同样大小的输出映射,因此需显式告知原始输入尺寸。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 卷积网络 · 查看原书依据

      通过卷积定义的矩阵转置的乘法就是这样一种运算。这种运算用于在卷积层反向传播误差的导数,所以它在训练多于一个隐藏层的卷积网络时是必要的。

    参考来源

    - 位置:《深度学习》第9章 卷积网络(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文指出三种运算足以计算训练所需的全部梯度,并强调转置运算需与前向协调、输出尺寸依赖多因素。 - 原始内容:通过卷积定义的矩阵转置的乘法就是这样一种运算。这种运算用于在卷积层反向传播误差的导数,所以它在训练多于一个隐藏层的卷积网络时是必要的。