知识卡片
自编码器的流形学习
自编码器利用数据集中在低维流形附近这一假设来学习流形结构。其训练始终包含两种推动力的折衷:一是让训练样本可经解码器从编码中恢复,二是满足容量约束或正则惩罚(倾向于对输入不敏感的解)。二者结合使学到的表示只对沿流形切向的变化敏感,而对垂直于流形的变化不敏感,从而隐式获得流形的局部坐标系。这解释了去噪与收缩自编码器为何在数据点附近约束重构函数的导数:它们把损坏点映射回流形。相比基于最近邻图的非参数流形学习——面对复杂流形需要海量样本、只能局部插值——自编码器借助分布式表示和参数共享,能用有限数据形成更好的切向估计。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 自编码器 · 查看原书依据
仅在 x 周围关于流形的相切变化需要对应于 h =f( x )中的变化。因此,编码器学习从输入空间 x 到表示空间的映射,映射仅对沿着流形方向的变化敏感,并且对流形正交方向的变化不敏感。
参考来源
- 位置:《深度学习》第14章 自编码器(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html)
- 结论依据:原文说明编码器学到仅对沿流形方向变化敏感的映射,并把自编码器的重构与约束折衷同流形切平面、非参数方法局限相对照。
- 原始内容:仅在 x 周围关于流形的相切变化需要对应于 h =f( x )中的变化。因此,编码器学习从输入空间 x 到表示空间的映射,映射仅对沿着流形方向的变化敏感,并且对流形正交方向的变化不敏感。