知识卡片
Sigmoid的反向传播
若 sigmoid 的输出为 y,其对输入的导数是 y(1−y)。实现时保存正向输出,反向传播将上游梯度乘以 y(1−y),无需重新计算 sigmoid。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- 神经网络的复习 · 查看原书依据
这里将正向传播的输出保存在实例变量 out 中。然后,在反向传播中,使用这个 out 变量进行计算。
- sigmoid 函数和 tanh 函数的导数 · 查看原书依据
仅根据正向传播时的输出,就可以计算 sigmoid 函数的反向传播。
参考来源
- 位置:《深度学习进阶:自然语言处理》第1章《神经网络的复习》(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0006_split_003.html)
- 结论依据:正文给出定义、公式或对应实现。
- 原始内容:这里将正向传播的输出保存在实例变量 out 中。然后,在反向传播中,使用这个 out 变量进行计算。
- 补充位置:《深度学习进阶:自然语言处理》附录A《sigmoid 函数和 tanh 函数的导数》A.1(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0014_split_001.html)
- 补充依据:附录利用计算图推导 sigmoid 的反向传播。
- 补充原文:仅根据正向传播时的输出,就可以计算 sigmoid 函数的反向传播。