知识卡片
网络训练的三个环节
训练网络就是从一组随机初始化的权重出发,搜索一组能给出足够好预测的权重。由于权重数以百万计,无法直接求出理想值,作者把搜索拆成三个环节。第一,用损失函数衡量预测输出与预期输出之间的差异,判断当前权重是否合适。第二,借最大似然估计(MLE)把最小化损失与最大化预测分布逼近预期分布的概率等同起来,为优化给出概率论依据。第三,用梯度下降配合反向传播更新权重,不断减小损失;当损失降到最小可能值,网络就学到了从输入到预期输出的映射函数。三者环环相扣:损失给出目标,MLE 解释目标,梯度下降与反向传播提供手段,后文分别展开为 [[回归损失:均方误差与绝对误差]] 与 [[反向传播与链式法则]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度前馈网络 训练机制:损失、梯度与反向传播 · 查看原书依据
如果我们尝试通过更改权重(参数)来使损失函数最小化,那么我们会将预测输出分布的概率最大化,使其与预期分布尽可能接近。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文明确把训练任务分成判断误差、以 MLE 解释优化目标、用梯度下降与反向传播更新权重三部分,并说明最小损失即学到映射函数,支撑三环节框架。
- 原始内容:如果我们尝试通过更改权重(参数)来使损失函数最小化,那么我们会将预测输出分布的概率最大化,使其与预期分布尽可能接近。