知识卡片
正则化用惩罚压制大系数
变量一多就有两个麻烦:变量越多越容易对训练集过拟合;非零系数越多,模型越难解释,而解释性目标下“三个因素的稀疏模型”常常比“几百个因素、效果略好”的模型更有用。正则化的做法是在平方误差上加一个随 β 增大而增大的惩罚项,最小化“误差 + 惩罚”的组合。惩罚越重,系数被压得越小,模型越保守:拟合优度下降,但系数更稳、更不容易抓住训练集里的偶然。它本质上是把“贴合数据”和“系数别太大”放在同一个目标里权衡,惩罚强度本身是一个需要人为选定的超参数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 多元回归 · 查看原书依据
系数的含义越难理解。如果目标是解释(explain)某种现象,则只考虑三种因素的稀疏模型可能比效果略好却有数百种因素要考虑的模型更有用。
参考来源
- 位置:《数据科学入门(第2版)》第15章 多元回归(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0019.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「系数的含义越难理解……」
- 原始内容:系数的含义越难理解。如果目标是解释(explain)某种现象,则只考虑三种因素的稀疏模型可能比效果略好却有数百种因素要考虑的模型更有用。