知识卡片

结构图卡 · 9630.p · 生成模型:DeepSeek-V4.1-Flash

贝叶斯先验对应惩罚

理解等级:高级

把 β 看成随机变量并给定先验分布,后验正比于“似然×先验”。误差正态时似然是高斯型:若先验取 β~N(0,τ²I),取后验众数等价于最小化 SSE+k‖β‖²,k 与 τ² 对应,正是岭回归;若各分量独立且取 Laplace(0,t) 先验(在 0 点有尖峰、尾部较厚),后验众数等价于最小化 SSE+λΣ|βj|,正是 Lasso。于是 L1 惩罚的稀疏性有了概率解释:Laplace 先验在 0 处的高密度把系数往 0 吸。岭回归与 Lasso 因此都可视为特定先验下的贝叶斯点估计(后验众数),惩罚强度对应先验的尺度。

结构图:

flowchart LR
  A["高斯先验"] --> B["L2 惩罚"]
  B --> C["岭回归"]
  D["Laplace 先验"] --> E["L1 惩罚"]
  E --> F["Lasso"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0002.xhtml,2.2.4 从贝叶斯角度再看岭回归和Lasso回归) - 结论依据:原文分别用高斯先验与 Laplace 先验推导后验,取对数后与岭回归、Lasso 的目标函数对照,指出众数即估计。 - 原始内容:类似地,我们假定向量β的各个分量相互独立,且先验分布为 Laplace(双指数)分布,即βj~Laplace(0, t),则有