← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9873.n · 生成模型:Hunyuan

反向传播算法

理解等级:高级

神经网络靠反向传播更新权值以拟合目标。训练集损失由均方误差项(拟合数据)与权值正则项(防过拟合)组成。反向传播分四步:先正向计算各层激活;再算输出层残差(损失对神经元输入的偏导);然后从后往前按链式法则递推各层残差——某节点残差等于上层残差乘以对应连接权重的求和;最后由残差得出各权重梯度并做梯度下降。残差的逐层回传是高效计算梯度的关键。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 基于值函数逼近的强化学习方法 · 查看原书依据

      神经网络的反向传导算法的基本思路如下。 神经网络根据损失函数,反向传播更新权值。设训练样本集为 对于单个样本 ,构造平方损失函数为 因此训练集 上的损失函数为 其中损失函数的第一项为均方损失,目的是让神经网络逼近训练数据;第二项为权值正则项,目的是防止网络过拟合。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html) - 结论依据:正文给出损失函数构成与反向传导四步推导,重点解释了残差沿连接权重反向递推的计算过程。 - 原始内容:神经网络的反向传导算法的基本思路如下。 神经网络根据损失函数,反向传播更新权值。设训练样本集为 对于单个样本 ,构造平方损失函数为 因此训练集 上的损失函数为 其中损失函数的第一项为均方损失,目的是让神经网络逼近训练数据;第二项为权值正则项,目的是防止网络过拟合。