知识卡片
梯度计算与参数更新分工
网络训练需要知道参数变化对损失的影响,并据此调整参数。反向传播计算、传递这些导数信息;梯度下降等优化方法使用梯度执行更新。两者在训练循环中合作,却不是同一概念。降低训练误差也不等于获得可靠泛化,任务评价还要使用未参与训练的资料。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 人工智能的新时代 卷积、训练与学习反馈 · 查看原书依据
连接学派与神经网络研究人员开发出了利用输入—输出对训练前馈神经网络的新方法——反向传播算法。这种随机梯度下降法通过对神经元之间的边权重进行多次微小迭代调整来减少输出结果的误差。 神经网络“大杀四方”的时代从此拉开序幕。来自南加州的早期开发人
参考来源
- 位置:《人工智能与计算生物的未来 (【美】布赖恩·希尔布什)》人工智能的新时代,卷积、训练与学习反馈(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能与计算生物的未来 (【美】布赖恩·希尔布什)/_epub-src/EPUB/xhtml/Section03.xhtml)
- 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;历史案例不等于当前临床有效性或监管认可。已经核验的边界与书中陈述分开。
- 原始内容:连接学派与神经网络研究人员开发出了利用输入—输出对训练前馈神经网络的新方法——反向传播算法。这种随机梯度下降法通过对神经元之间的边权重进行多次微小迭代调整来减少输出结果的误差。 神经网络“大杀四方”的时代从此拉开序幕。来自南加州的早期开发人