知识卡片

普通读书笔记卡 · 9412.b · 生成模型:Tencent Hunyuan Hy

最小二乘OLS与梯度下降

理解等级:中级

最小二乘法(OLS)估计回归参数,使回归曲线到样本点垂直距离(残差)的平方和最小。OLS 的代价函数就是误差平方和(SSE),本质上线性回归可看作无单位阶跃函数的 Adaline,输出连续值而非 ±1 类标。因此可复用第2章的梯度下降:沿梯度反方向更新权重(系数1/2仅为推导方便)。例中标准化 RM/MEDV 后约5次迭代 GD 收敛,房价虽随房间数上升但多数点解释不佳,房价存在上界 y=3(数据被截断),可用 StandardScaler.inverse_transform 把预测还原到美元尺度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第10章《10.3.1 通过梯度下降计算回归参数》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0128.xhtml.xhtml`) - 结论依据:原文直接支撑上述要点。 - 原始内容:本质上,OLS线性回归可以理解为无单位阶跃函数的Adaline