知识卡片
自编码器基本结构
自编码器是一种被训练来把输入复制到输出的前馈神经网络。它由编码器 f 和解码器 g 两部分组成:编码器把输入 x 映射为隐藏编码 h,解码器把 h 映射为重构输出 r,目标是让 r 接近 x。关键在于我们并不真正关心输出本身,而是想借复制任务迫使 h 学到数据的有用特性;若网络只学会恒等映射则毫无价值。因此必须施加约束,使它只能近似复制、且只擅长复制与训练数据相似的输入,从而优先保留重要信息。它可看作前馈网络的特例,用反向传播与小批量梯度下降训练,也可用基于比较原始与重构激活的再循环算法;其确定函数还能推广为随机映射。
结构图:
flowchart LR
X[输入x] --> F[编码器f]
F --> H[隐藏编码h]
H --> G[解码器g]
G --> R[重构r]
R -.->|重建目标| X
C[约束与正则] -.-> H
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 自编码器 · 查看原书依据
相反,我们不应该将自编码器设计成输入到输出完全相等。这通常需要向自编码器强加一些约束,使它只能近似地复制,并只能复制与训练数据相似的输入。这些约束强制模型考虑输入数据的哪些部分需要被优先复制,因此它往往能学习到数据的有用特性。
参考来源
- 位置:《深度学习》第14章 自编码器(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html)
- 结论依据:原文先给出编码器与解码器的构成,随即强调必须强加约束使自编码器只能近似复制,否则学到的恒等映射没有用处。
- 原始内容:相反,我们不应该将自编码器设计成输入到输出完全相等。这通常需要向自编码器强加一些约束,使它只能近似地复制,并只能复制与训练数据相似的输入。这些约束强制模型考虑输入数据的哪些部分需要被优先复制,因此它往往能学习到数据的有用特性。