知识卡片
去噪自编码器
去噪自编码器(DAE)改变的不是惩罚项而是重构误差:先用损坏过程 C 把干净输入 x 扰动成 x̃,再要求网络从 x̃ 重构出原始 x。由于必须撤销损坏而非简单复制,过完备、高容量的模型也无法退化为无用恒等映射,训练迫使编码器与解码器隐式学习数据分布 p_data 的结构。训练流程是采样 x、采样损坏样本 x̃,再最小化 −log p_decoder(x|h)(h=f(x̃)),确定性编码器时就是普通前馈网络。一个深刻性质是:在高斯噪声与均方误差下,重构向量 g(f(x))−x 近似数据对数密度的梯度(得分),指向数据所在的高概率流形;这把 DAE 与得分匹配、RBM 训练联系起来。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 自编码器 · 查看原书依据
去噪自编码器 (denoising autoencoder,DAE)是一类接受损坏数据作为输入,并训练来预测原始未被损坏数据作为输出的自编码器。
参考来源
- 位置:《深度学习》第14章 自编码器(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html)
- 结论依据:原文定义DAE为接受损坏数据并预测原始数据的自编码器,并指出去噪训练强制f和g学习数据分布结构、其重构向量场可估计得分。
- 原始内容:去噪自编码器 (denoising autoencoder,DAE)是一类接受损坏数据作为输入,并训练来预测原始未被损坏数据作为输出的自编码器。