知识卡片
反向传播:误差从后往前算
前向传播先算出每一层的输出:上一层输出乘权重、加偏置、过 sigmoid,逐层推到输出层。然后从输出层开始反向算误差:输出层的 delta 等于损失对该输出的导数乘上 sigmoid 的导数;每个隐藏层的 delta 等于本层激活导数乘上“下一层各单元的 delta 按其连接权重加权求和”。拿到 delta 后,权重更新量是 delta 乘本层输入,偏置更新量就是 delta 本身,都乘学习率后累加。
代码里还多了一步冲量:把上一轮的更新量按冲量率再加一次,让更新方向保持一致、抑制来回震荡。要注意反向传播只是求梯度的办法,真正挪参数的是梯度下降;而 sigmoid 的导数是 gx(1−gx),输入饱和时接近 0,层数一多,越靠前的层收到的信号就被连乘得越小。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(下) · 查看原书依据
那么怎么求解其中的参数(每一层的W和b)呢?使用梯度下降法来迭代,即 其中L(W,b)就是损失函数,前面已经讲过,有平方损失、似然损失等。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「那么怎么求解其中的参数(每一层的W和b)呢?使用梯度下降法来迭代,即 其中L(W……」
- 原始内容:那么怎么求解其中的参数(每一层的W和b)呢?使用梯度下降法来迭代,即 其中L(W,b)就是损失函数,前面已经讲过,有平方损失、似然损失等。