← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9630.r · 生成模型:DeepSeek-V4.1-Flash

好惩罚函数与SCAD神谕性

理解等级:高级

Fan 和 Li 提出,好的惩罚函数应让解具备三个性质:无偏性(真值较大时估计几乎无偏)、稀疏性(有阈值把小的系数直接压到 0)、连续性(估计是最小二乘解的连续函数,避免预测不稳定)。Lasso 有稀疏性与连续性,但对大系数仍恒定收缩,是有偏的;岭回归有偏且不稀疏,两者都不满足。SCAD 的惩罚导数随 |β| 增大先增后减、在 |β|>aλ 后归零,即对大系数不再惩罚,因而同时满足三条,并具备神谕性(oracle property):在 λn→0、n^{1⁄2}λn→∞ 等条件下,能把零系数准确估为 0,非零部分渐近正态,表现得像真实模型已知一样。代价是惩罚非凸、求解困难;自适应 Lasso 用权重 λ|β̂j|^{-v} 的加权 L1 惩罚,保持相合性又是凸的,更易计算。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0003.xhtml,2.3.2 SCAD回归与Oracle性质) - 结论依据:原文列出无偏、稀疏、连续三条标准及对应条件,指出 Lasso、岭回归的不足,介绍 SCAD 与 oracle property,并说明其非凸缺点与自适应 Lasso 的改进。 - 原始内容:即SCAD估计的表现与真实模型已知时(假定已知真实模型中参数为零的系数)的表现一样好,也就是说,SCAD 估计能准确地进行变量选择。