知识卡片

结构图卡 · 9630.s · 生成模型:DeepSeek-V4.1-Flash

损失函数加罚的统一框架

理解等级:中级

从统计决策看,回归建模可统一写成“损失函数+罚函数”:选一个损失 L(Y,f(X)) 度量预测误差,再对 f 的复杂度加罚。平方损失 (Y-f)² 对应最小二乘,对异常值敏感;Huber 损失在 |Y-f| 小时像平方、大时像绝对值,因而更稳健,同样程度的高估与低估损失相同;绝对值损失对应最小一乘;ε-不敏感损失用于支持向量回归;分位损失用于分位回归。所有回归损失都要求随 |y-f| 增大而增大,但对称性与陡峭程度不同,这决定模型对高估、低估和异常值的态度。罚函数决定收缩方式:L2 得岭回归,L1 得 Lasso,SCAD、弹性网、Grouped Lasso 是变体。

结构图:

flowchart TD
  A["损失函数 L(Y,f(X))"] --> C["目标函数 损失加罚"]
  B["罚函数 p(β)"] --> C
  C --> D["平方损失加 L2 岭回归"]
  C --> E["平方损失加 L1 Lasso"]
  C --> F["绝对值或分位损失 稳健回归"]
  C --> G["平方损失加弹性网"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 线性回归方法 · 查看原书依据

      从统计决策的角度来看,上述建模的过程可以归纳为损失函数加罚的框架。考虑回归问题,即Y为连续变量,解释变量为X,其联合分布为Pr(X, Y)。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0004.xhtml,2.4.1 损失函数的概念) - 结论依据:原文从统计决策角度提出损失加罚框架,比较平方损失、Huber 损失等,并说明罚函数一侧对应岭回归与 Lasso。 - 原始内容:从统计决策的角度来看,上述建模的过程可以归纳为损失函数加罚的框架。考虑回归问题,即Y为连续变量,解释变量为X,其联合分布为Pr(X, Y)。