知识卡片
从损失函数到最优化问题
单个样本的损失只说明”这一次错得有多离谱”,要据此定参数,必须把整个训练集上的损失汇总成一个数:
L(w, b) = Σᵢ (yᵢ − f(xᵢ))²
其中 i 遍历训练集的 M 个样本,w 是权重向量,b 是门限(偏置)。求和而非求平均只差一个常数因子 1/M,不改变最小值点的位置,因此两种写法等价。
得到 L(w,b) 后,目标自然写成:
min over (w, b) L(w, b)
这样做的道理:损失越小,意味着各预测值与对应真实值越接近,模型在训练集上拟合得越好。于是”学习参数”这件模糊的事,被转成一个有明确数学形式的最优化问题——这也正是把策略与算法分开的地方(见 [[模型、策略、算法三要素]]),此处只负责把问题写出来,怎么解交给 [[负梯度走一步:批量与随机]]。
两个必须知道的边界:
- 训练损失最小不等于新样本最准。一味压低训练损失,模型会把噪声也拟合进去,在新数据上反而变差;所以需要用验证集挑选模型,并给目标加约束项。
- 问题的可解性依赖损失形状。平方损失对参数是凸的,梯度下降能到全局最优;换成 0-1 损失就变成非凸、不可导,只能退而求其次。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 机器学习概述 1.3 机器学习方法三要素 · 查看原书依据
得到上面关于模型未知参数的损失函数表达式后,很明显,我们的目标就是希望这个损失函数能够最小化。因为损失函数越小,意味着各个预测值与对应真实值之间越接近
参考来源
- 位置:《机器学习基础:从入门到求职》第1章《第1章 机器学习概述》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00004.html)
- 结论依据:原文在给出单样本平方损失后,写出全部 M 个样本的总体损失,并说明最小化损失即求解未知参数。
- 原始内容:得到上面关于模型未知参数的损失函数表达式后,很明显,我们的目标就是希望这个损失函数能够最小化。因为损失函数越小,意味着各个预测值与对应真实值之间越接近