知识卡片
稀疏编码的非参数编码器
稀疏编码是一种线性因子模型:解码器为线性加高斯噪声,而先验 p(h) 取在 0 附近尖锐的分布(Laplace、Cauchy、Student-t)。严格说“稀疏编码”指推断 h 的过程,“稀疏建模”指设计与学习模型。最大似然训练不可行,训练时在推断 h 与更新 W 之间交替;由 Laplace 先验导出的 L1 惩罚使推断出的 h* 真正稀疏。最鲜明的特征是编码器是一个优化算法而非参数化函数,原则上比任何固定编码器更好地最小化“重构误差+对数先验”,且没有编码器的泛化误差,因此作分类特征时泛化更好。代价是推断需迭代、耗时,且难以对其反向传播做无监督预训练后的精调。还需注意:生成模型本身并不稀疏,从 Laplace 先验采样恰得 0 是零概率事件,稀疏的只是特征提取器;其生成样本往往很差,因为因子先验会随机组合各特征的子集。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 线性因子模型 · 查看原书依据
与非参数编码器结合的稀疏编码方法原则上可以比任何特定的参数化编码器更好地最小化重构误差和对数先验的组合。另一个优点是编码器没有泛化误差。参数化的编码器必须泛化地学习如何将 x 映射到 h 。
参考来源
- 位置:《深度学习》第13章 线性因子模型(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html)
- 结论依据:原文论证了非参数编码器无泛化误差且能更好优化重构与先验的组合,同时指出其推断耗时、难以反传,以及因子先验导致生成样本差。
- 原始内容:与非参数编码器结合的稀疏编码方法原则上可以比任何特定的参数化编码器更好地最小化重构误差和对数先验的组合。另一个优点是编码器没有泛化误差。参数化的编码器必须泛化地学习如何将 x 映射到 h 。