知识卡片
损失函数加罚的统一框架
从统计决策看,回归建模可统一写成“损失函数+罚函数”:选一个损失 L(Y,f(X)) 度量预测误差,再对 f 的复杂度加罚。平方损失 (Y-f)² 对应最小二乘,对异常值敏感;Huber 损失在 |Y-f| 小时像平方、大时像绝对值,因而更稳健,同样程度的高估与低估损失相同;绝对值损失对应最小一乘;ε-不敏感损失用于支持向量回归;分位损失用于分位回归。所有回归损失都要求随 |y-f| 增大而增大,但对称性与陡峭程度不同,这决定模型对高估、低估和异常值的态度。罚函数决定收缩方式:L2 得岭回归,L1 得 Lasso,SCAD、弹性网、Grouped Lasso 是变体。
结构图:
flowchart TD
A["损失函数 L(Y,f(X))"] --> C["目标函数 损失加罚"]
B["罚函数 p(β)"] --> C
C --> D["平方损失加 L2 岭回归"]
C --> E["平方损失加 L1 Lasso"]
C --> F["绝对值或分位损失 稳健回归"]
C --> G["平方损失加弹性网"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
从统计决策的角度来看,上述建模的过程可以归纳为损失函数加罚的框架。考虑回归问题,即Y为连续变量,解释变量为X,其联合分布为Pr(X, Y)。
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0004.xhtml,2.4.1 损失函数的概念)
- 结论依据:原文从统计决策角度提出损失加罚框架,比较平方损失、Huber 损失等,并说明罚函数一侧对应岭回归与 Lasso。
- 原始内容:从统计决策的角度来看,上述建模的过程可以归纳为损失函数加罚的框架。考虑回归问题,即Y为连续变量,解释变量为X,其联合分布为Pr(X, Y)。