知识卡片
MAP推断与稀疏编码
MAP推断不求完整的p(h|ν),只取最可能的h*=argmax p(h|ν),本身是精确的点估计;但若把学习写成最大化下界,可把MAP看作将q限制为Dirac分布δ(h−µ)的近似推断,µ即h*。代价是Dirac分布的微分熵趋近负无穷,使下界无限松、保证失效,人为给µ加入少量噪声可恢复意义。稀疏编码正是此框架的应用:Laplace先验加线性高斯生成使后验形成巨大团而难以精确推断,于是改用MAP学习,交替优化编码H与权重W(两个子问题为凸,联合优化非凸)。要点:MAP是用点代替分布的近似,牺牲下界紧致性换取简单的特征提取机制。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 近似推断 · 查看原书依据
在MAP推断中,这个保证是无效的,因为Dirac分布的微分熵趋近于负无穷,使得这个界会无限地松。然而,人为加入一些 µ 的噪声会使得这个界又有了意义。 MAP推断作为特征提取器以及一种学习机制被广泛地应用在了深度学习中。
参考来源
- 位置:《深度学习》第19章 近似推断(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文论证Dirac分布把MAP纳入下界框架、指出其下界失效与补噪办法,并说明稀疏编码用它学习。
- 原始内容:在MAP推断中,这个保证是无效的,因为Dirac分布的微分熵趋近于负无穷,使得这个界会无限地松。然而,人为加入一些 µ 的噪声会使得这个界又有了意义。 MAP推断作为特征提取器以及一种学习机制被广泛地应用在了深度学习中。