← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9895.e · 生成模型:Hunyuan

收缩自编码器

理解等级:高级

收缩自编码器(CAE)在编码 h=f(x) 上添加显式正则,惩罚编码器 Jacobian(∂h/∂x)的平方 Frobenius 范数,鼓励 f 的导数尽可能小,使特征能抵抗极小的输入扰动。它名字中的“收缩”指把输入点邻域映射到输出中更小的邻域,且这是局部性质:不同输入点仍可被映射到相距很远的位置。两种推动力折衷后,只有少数对应流形切向的方向保留较大导数。在小高斯噪声极限下,去噪重构误差与收缩惩罚等价,DAE 抵抗有限小扰动而 CAE 抵抗无穷小扰动。实践中有两点要注意:深层时 Jacobian 难算,常用逐层贪心训练;若不约束解码器,编码器缩小、解码器放大的退化解会让惩罚趋零,因此需把 g 的权重绑定为 f 权重的转置。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 自编码器 · 查看原书依据

      收缩 (contractive)源于CAE弯曲空间的方式。具体来说,由于CAE训练为抵抗输入扰动,鼓励将输入点邻域映射到输出点处更小的邻域。我们能认为这是将输入的邻域收缩到更小的输出邻域。

    参考来源

    - 位置:《深度学习》第14章 自编码器(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:原文说明CAE在编码上添加显式正则鼓励f的导数尽可能小,解释收缩含义、与DAE在小噪声下的等价性,并给出权重绑定的实际对策。 - 原始内容:收缩 (contractive)源于CAE弯曲空间的方式。具体来说,由于CAE训练为抵抗输入扰动,鼓励将输入点邻域映射到输出点处更小的邻域。我们能认为这是将输入的邻域收缩到更小的输出邻域。