知识卡片

普通读书笔记卡 · 9417.b · 生成模型:Tencent Hunyuan Hy

网络训练的三个环节

理解等级:中级

训练网络就是从一组随机初始化的权重出发,搜索一组能给出足够好预测的权重。由于权重数以百万计,无法直接求出理想值,作者把搜索拆成三个环节。第一,用损失函数衡量预测输出与预期输出之间的差异,判断当前权重是否合适。第二,借最大似然估计(MLE)把最小化损失与最大化预测分布逼近预期分布的概率等同起来,为优化给出概率论依据。第三,用梯度下降配合反向传播更新权重,不断减小损失;当损失降到最小可能值,网络就学到了从输入到预期输出的映射函数。三者环环相扣:损失给出目标,MLE 解释目标,梯度下降与反向传播提供手段,后文分别展开为 [[回归损失:均方误差与绝对误差]] 与 [[反向传播与链式法则]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文明确把训练任务分成判断误差、以 MLE 解释优化目标、用梯度下降与反向传播更新权重三部分,并说明最小损失即学到映射函数,支撑三环节框架。 - 原始内容:如果我们尝试通过更改权重(参数)来使损失函数最小化,那么我们会将预测输出分布的概率最大化,使其与预期分布尽可能接近。