原书出处
深度学习
19 第19章 近似推断
以及通过参数更新来优化关于 θ 的 。作为一个整体,这个算法的正确性可以得到保证,因为 是log p( ν )的下界。
在MAP推断中,这个保证是无效的,因为Dirac分布的微分熵趋近于负无穷,使得这个界会无限地松。然而,人为加入一些 µ 的噪声会使得这个界又有了意义。 MAP推断作为特征提取器以及一种学习机制被广泛地应用在了深度学习中。
它主要用于稀疏编码模型中。 我们回过头来看第13.4节中的稀疏编码。稀疏编码是一种在隐藏单元上加上了诱导稀疏性的先验知识
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0006_split_001.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639