知识卡片
ResNet给梯度捷径
残差块输出是输入加学习到的变换。若所需映射接近恒等,残差支路只需学习差值。反向时加法保留一条直接传播路径,可以缓解深网络优化困难,仍需要合适的初始化和训练设置。
残差块直接传递一部分反向梯度。参见 [[反向传播复用误差信号]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度神经网络 五种卷积结构的设计取舍 · 查看原书依据
残差单元。这种结构最大的特点是将本层的输入(前一层的输出)加到本层的输出中,如图14.9所示。ResNet残差单元通过这样的函数关
参考来源
- 位置:《机器学习基础》第14章,14.3 经典卷积神经网络(book-source:extracted/机器学习基础/_epub-src/EPUB/xhtml/chapter93.xhtml)
- 结论依据:原文借「将本层的输入(前一层的输出)加到本层的输出中」处的论述给出本卡所解释的关系或做法。
- 原始内容:残差单元。这种结构最大的特点是将本层的输入(前一层的输出)加到本层的输出中,如图14.9所示。ResNet残差单元通过这样的函数关