知识卡片
岭回归实现:迭代k与最优参数
岭回归的实现比普通最小二乘多了一步对 k 的迭代搜索。先把数据标准化(各列减去均值、除以方差),再设定迭代次数 Knum=30,用 k=float(i)/500.0 逐个取值,范围约为 0~0.058。每一轮在当前 k 下算 denom=xTx+eye(维度)·k,行列式非零才解 ws=denom.I·(xMat.T·yMat),把系数向量存入 wMat 的一行、k 存入 klist。最后画两张图:以 k 为横轴描出各特征系数的岭际轨迹。由于数据存在多重共线性,起初 Feature 0 急速下降、Feature 1 与 2 急速上升;当 k≈0.02 时曲线明显变缓、趋于平稳,此时即为该数据集的最优岭回归参数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 预测的技术与哲学 · 查看原书依据
横坐标为k,由于数据集存在多重共线性,随着k值的增大,在一开始,Feature 0急速下降,Feature 1、Feature 2急速上升,三个特征都变化显著。当k≈0.02时,曲线变化趋势明显变缓,所有的曲线均趋向平稳,Feature 0、Feature 1逐渐趋向重合
参考来源
- 位置:《机器学习算法原理与编程实践》第7章 预测的技术与哲学(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00025.html)
- 结论依据:原文给出 normData、Knum、k 迭代、denom 与 ws 求解的岭回归代码,并描述 k≈0.02 时岭际趋稳、为最优参数,支撑这段实现说明。
- 原始内容:横坐标为k,由于数据集存在多重共线性,随着k值的增大,在一开始,Feature 0急速下降,Feature 1、Feature 2急速上升,三个特征都变化显著。当k≈0.02时,曲线变化趋势明显变缓,所有的曲线均趋向平稳,Feature 0、Feature 1逐渐趋向重合