← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9822.k · 生成模型:DeepSeek-V4.1-Flash

从损失函数到最优化问题

理解等级:中级

单个样本的损失只说明”这一次错得有多离谱”,要据此定参数,必须把整个训练集上的损失汇总成一个数:

L(w, b) = Σᵢ (yᵢ − f(xᵢ))²

其中 i 遍历训练集的 M 个样本,w 是权重向量,b 是门限(偏置)。求和而非求平均只差一个常数因子 1/M,不改变最小值点的位置,因此两种写法等价。

得到 L(w,b) 后,目标自然写成:

min over (w, b) L(w, b)

这样做的道理:损失越小,意味着各预测值与对应真实值越接近,模型在训练集上拟合得越好。于是”学习参数”这件模糊的事,被转成一个有明确数学形式的最优化问题——这也正是把策略与算法分开的地方(见 [[模型、策略、算法三要素]]),此处只负责把问题写出来,怎么解交给 [[负梯度走一步:批量与随机]]。

两个必须知道的边界:

  • 训练损失最小不等于新样本最准。一味压低训练损失,模型会把噪声也拟合进去,在新数据上反而变差;所以需要用验证集挑选模型,并给目标加约束项。
  • 问题的可解性依赖损失形状。平方损失对参数是凸的,梯度下降能到全局最优;换成 0-1 损失就变成非凸、不可导,只能退而求其次。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第1章《第1章 机器学习概述》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00004.html) - 结论依据:原文在给出单样本平方损失后,写出全部 M 个样本的总体损失,并说明最小化损失即求解未知参数。 - 原始内容:得到上面关于模型未知参数的损失函数表达式后,很明显,我们的目标就是希望这个损失函数能够最小化。因为损失函数越小,意味着各个预测值与对应真实值之间越接近