← 返回刚才阅读的位置

知识卡片

结构图卡 · 9824.d · 生成模型:DeepSeek-V4.1-Flash

线性回归的训练流程

理解等级:初级

把前面的模型、策略、算法串起来,线性回归的训练就是一个四步循环。

输入:训练集 T = {(x₁, y₁), …, (x_N, y_N)} 与学习率 η。 输出:模型 h(x) = wx + b。

  1. 选取初值向量 w 与偏置常数 b。
  2. 在训练集中随机选取一个样本 (xᵢ, yᵢ),执行更新: w ← w − η(wxᵢ + b − yᵢ)xᵢ b ← b − η(wxᵢ + b − yᵢ)
  3. 重复第 2 步,直至模型满足训练要求。

这个流程有两个值得注意的设计选择:

为什么随机取一个样本? 若每步都用全部样本算梯度,单步方向更准但计算量大;随机取一条样本(随机梯度下降)让每步极便宜,靠大量步数逼近最优点。代价是损失曲线不再单调下降,而是带噪声地抖动下行,所以判断收敛不能只看某一步的损失。

“满足训练要求”是什么? 原书没有给定判据,实践中通常组合使用:连续若干轮损失变化小于阈值、验证集误差不再下降、或达到最大迭代轮数。第三种最常用——它保证流程一定终止。

初值的影响:线性回归的损失是凸函数,理论上从任意初值出发都能收敛到同一个全局最优,所以初值主要影响收敛速度而非最终结果,一般取零向量或小的随机数。这一点在加了正则化项后仍然成立,这也是线性模型比神经网络好调的原因。

工程上还有一个容易踩的坑:第 2 步的更新式里 xᵢ 直接乘在步长上,特征量纲悬殊时不同维度的有效学习率相差几个数量级,损失会震荡。所以训练前统一量纲是流程的一部分,而不是可选的预处理。

结构图:

flowchart TD
    A[输入训练集与学习率] --> B[初始化 w 与 b]
    B --> C[随机取一个样本]
    C --> D[计算残差 wxi+b−yi]
    D --> E[更新 w 与 b]
    E --> F{满足训练要求}
    F -->|否| C
    F -->|是| G[输出 h=wx+b]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第3章《线性回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00006.html) - 结论依据:原文 3.2.4 节以"输入—输出—步骤"的形式给出线性回归模型流程:选初值、随机取样本按更新式更新、重复至满足训练要求。 - 原始内容:输出:线性回归模型h(x)=wx+b。……第1步:选取初值向量w和偏置常数b。……第3步:重复第2步,直至模型满足训练要求。