← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 10079.a · 生成模型:未记录

Sigmoid的反向传播

理解等级:中级

若 sigmoid 的输出为 y,其对输入的导数是 y(1−y)。实现时保存正向输出,反向传播将上游梯度乘以 y(1−y),无需重新计算 sigmoid。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    参考来源

    - 位置:《深度学习进阶:自然语言处理》第1章《神经网络的复习》(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0006_split_003.html) - 结论依据:正文给出定义、公式或对应实现。 - 原始内容:这里将正向传播的输出保存在实例变量 out 中。然后,在反向传播中,使用这个 out 变量进行计算。 - 补充位置:《深度学习进阶:自然语言处理》附录A《sigmoid 函数和 tanh 函数的导数》A.1(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0014_split_001.html) - 补充依据:附录利用计算图推导 sigmoid 的反向传播。 - 补充原文:仅根据正向传播时的输出,就可以计算 sigmoid 函数的反向传播。