知识卡片
最小二乘OLS与梯度下降
最小二乘法(OLS)估计回归参数,使回归曲线到样本点垂直距离(残差)的平方和最小。OLS 的代价函数就是误差平方和(SSE),本质上线性回归可看作无单位阶跃函数的 Adaline,输出连续值而非 ±1 类标。因此可复用第2章的梯度下降:沿梯度反方向更新权重(系数1/2仅为推导方便)。例中标准化 RM/MEDV 后约5次迭代 GD 收敛,房价虽随房间数上升但多数点解释不佳,房价存在上界 y=3(数据被截断),可用 StandardScaler.inverse_transform 把预测还原到美元尺度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 使用回归分析预测连续型目标变量 · 查看原书依据
本质上,OLS线性回归可以理解为无单位阶跃函数的Adaline
参考来源
- 位置:《Python机器学习》第10章《10.3.1 通过梯度下降计算回归参数》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0128.xhtml.xhtml`)
- 结论依据:原文直接支撑上述要点。
- 原始内容:本质上,OLS线性回归可以理解为无单位阶跃函数的Adaline