← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9844.j · 生成模型:Hunyuan

岭回归实现:迭代k与最优参数

理解等级:中级

岭回归的实现比普通最小二乘多了一步对 k 的迭代搜索。先把数据标准化(各列减去均值、除以方差),再设定迭代次数 Knum=30,用 k=float(i)/500.0 逐个取值,范围约为 0~0.058。每一轮在当前 k 下算 denom=xTx+eye(维度)·k,行列式非零才解 ws=denom.I·(xMat.T·yMat),把系数向量存入 wMat 的一行、k 存入 klist。最后画两张图:以 k 为横轴描出各特征系数的岭际轨迹。由于数据存在多重共线性,起初 Feature 0 急速下降、Feature 1 与 2 急速上升;当 k≈0.02 时曲线明显变缓、趋于平稳,此时即为该数据集的最优岭回归参数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 预测的技术与哲学 · 查看原书依据

      横坐标为k,由于数据集存在多重共线性,随着k值的增大,在一开始,Feature 0急速下降,Feature 1、Feature 2急速上升,三个特征都变化显著。当k≈0.02时,曲线变化趋势明显变缓,所有的曲线均趋向平稳,Feature 0、Feature 1逐渐趋向重合

    参考来源

    - 位置:《机器学习算法原理与编程实践》第7章 预测的技术与哲学(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00025.html) - 结论依据:原文给出 normData、Knum、k 迭代、denom 与 ws 求解的岭回归代码,并描述 k≈0.02 时岭际趋稳、为最优参数,支撑这段实现说明。 - 原始内容:横坐标为k,由于数据集存在多重共线性,随着k值的增大,在一开始,Feature 0急速下降,Feature 1、Feature 2急速上升,三个特征都变化显著。当k≈0.02时,曲线变化趋势明显变缓,所有的曲线均趋向平稳,Feature 0、Feature 1逐渐趋向重合