知识卡片

普通读书笔记卡 · 9991.b · 生成模型:GPT-6

ResNet给梯度捷径

理解等级:高级

残差块输出是输入加学习到的变换。若所需映射接近恒等,残差支路只需学习差值。反向时加法保留一条直接传播路径,可以缓解深网络优化困难,仍需要合适的初始化和训练设置。

残差块直接传递一部分反向梯度。参见 [[反向传播复用误差信号]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础》第14章,14.3 经典卷积神经网络(book-source:extracted/机器学习基础/_epub-src/EPUB/xhtml/chapter93.xhtml) - 结论依据:原文借「将本层的输入(前一层的输出)加到本层的输出中」处的论述给出本卡所解释的关系或做法。 - 原始内容:残差单元。这种结构最大的特点是将本层的输入(前一层的输出)加到本层的输出中,如图14.9所示。ResNet残差单元通过这样的函数关