知识卡片
系数惩罚依赖特征尺度
系数平方和或绝对值和可作为复杂度代理,避免正负抵消。平方和是L2范数的平方,绝对值和是L1范数,范数本身不等同于完整正则化。相同函数换输入单位会改变系数大小,比较或惩罚前须统一尺度,并明确是否惩罚截距。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 正则化:文本回归 避免过拟合的方法 · 连续片段1 · 查看原书依据
l2.model.complexity<-sum(coef(lm.fit)^2) l1.model.complexity<-sum(abs(coef(lm.fit)))
参考来源
- 位置:《机器学习:实用案例解析》第06章《避免过拟合的方法 · 连续片段1》(来源项目book-sources;源文件:extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part3108.html,spine3214)
- 结论依据:原文的案例步骤与解释支持所述机制;R包、外部API与数据接口限定于本书出版时环境,不作为当前兼容性承诺。
- 原始内容:l2.model.complexity<-sum(coef(lm.fit)^2) l1.model.complexity<-sum(abs(coef(lm.fit)))