知识卡片
贝叶斯先验对应惩罚
把 β 看成随机变量并给定先验分布,后验正比于“似然×先验”。误差正态时似然是高斯型:若先验取 β~N(0,τ²I),取后验众数等价于最小化 SSE+k‖β‖²,k 与 τ² 对应,正是岭回归;若各分量独立且取 Laplace(0,t) 先验(在 0 点有尖峰、尾部较厚),后验众数等价于最小化 SSE+λΣ|βj|,正是 Lasso。于是 L1 惩罚的稀疏性有了概率解释:Laplace 先验在 0 处的高密度把系数往 0 吸。岭回归与 Lasso 因此都可视为特定先验下的贝叶斯点估计(后验众数),惩罚强度对应先验的尺度。
结构图:
flowchart LR
A["高斯先验"] --> B["L2 惩罚"]
B --> C["岭回归"]
D["Laplace 先验"] --> E["L1 惩罚"]
E --> F["Lasso"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
类似地,我们假定向量β的各个分量相互独立,且先验分布为 Laplace(双指数)分布,即βj~Laplace(0, t),则有
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0002.xhtml,2.2.4 从贝叶斯角度再看岭回归和Lasso回归)
- 结论依据:原文分别用高斯先验与 Laplace 先验推导后验,取对数后与岭回归、Lasso 的目标函数对照,指出众数即估计。
- 原始内容:类似地,我们假定向量β的各个分量相互独立,且先验分布为 Laplace(双指数)分布,即βj~Laplace(0, t),则有