知识卡片
糖尿病数据跑岭回归与Lasso
岭回归用 MASS 包的 lm.ridge(y~., data=x2) 建模,plot 传 lambda=seq(0,10,1) 画岭迹,select 选参数;三种准则给出 HKB=0.333 544、L-W=50.005 85、GCV 最小在 10,差距悬殊,说明 k 的选择很不确定。Lasso 用 lars 包的 lars(x2,y) 得路径图,再用 cv.lars(x2,y,K=10) 做十折交叉验证,取 cv 最小处(有随机性)回代 coef.lars(mode=“fraction”),保留 13 个变量;也可用 which.min(Cp) 选 Cp 最小的模型,得 15 个变量。适应性 Lasso 用 msgps 包,penalty=“alasso”、gamma=1,选定调节参数 45.41,自由度约 18.68(BIC 下 13.27)。四种路线给出不同变量数,说明选择依赖准则。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
根据不同的方法,可以发现岭回归参数的选择存在非常大的不确定性,结果如下: modified HKB estimator is 0.333544 modified L-Westimator is 50.00585 smallest value of GCV at 10
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0005.xhtml,2.5.1 糖尿病数据)
- 结论依据:原文依次给出 lm.ridge 建模与 select 的三种参数、lars 路径图、十折交叉验证保留 13 个变量、Cp 最小保留 15 个变量,以及 msgps 的 alasso 结果。
- 原始内容:根据不同的方法,可以发现岭回归参数的选择存在非常大的不确定性,结果如下: modified HKB estimator is 0.333544 modified L-Westimator is 50.00585 smallest value of GCV at 10