知识卡片
好惩罚函数与SCAD神谕性
Fan 和 Li 提出,好的惩罚函数应让解具备三个性质:无偏性(真值较大时估计几乎无偏)、稀疏性(有阈值把小的系数直接压到 0)、连续性(估计是最小二乘解的连续函数,避免预测不稳定)。Lasso 有稀疏性与连续性,但对大系数仍恒定收缩,是有偏的;岭回归有偏且不稀疏,两者都不满足。SCAD 的惩罚导数随 |β| 增大先增后减、在 |β|>aλ 后归零,即对大系数不再惩罚,因而同时满足三条,并具备神谕性(oracle property):在 λn→0、n^{1⁄2}λn→∞ 等条件下,能把零系数准确估为 0,非零部分渐近正态,表现得像真实模型已知一样。代价是惩罚非凸、求解困难;自适应 Lasso 用权重 λ|β̂j|^{-v} 的加权 L1 惩罚,保持相合性又是凸的,更易计算。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
即SCAD估计的表现与真实模型已知时(假定已知真实模型中参数为零的系数)的表现一样好,也就是说,SCAD 估计能准确地进行变量选择。
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0003.xhtml,2.3.2 SCAD回归与Oracle性质)
- 结论依据:原文列出无偏、稀疏、连续三条标准及对应条件,指出 Lasso、岭回归的不足,介绍 SCAD 与 oracle property,并说明其非凸缺点与自适应 Lasso 的改进。
- 原始内容:即SCAD估计的表现与真实模型已知时(假定已知真实模型中参数为零的系数)的表现一样好,也就是说,SCAD 估计能准确地进行变量选择。