知识卡片
压缩自编码器
压缩自编码器与稀疏版本类似,都靠在成本函数中加入惩罚项来学习更强的表示,但它的惩罚项更复杂:依据隐藏单元输出 h[j]、编码器权重 W 与连接权重 W[ij] 推导,度量表示对输入微小扰动的敏感度,从而显式鼓励不变性。实现上先搭一个隐藏 40 单元的原始 AE,再自定义 contractive_loss:把均方误差与压缩项相加,压缩项由 factor=1e-5 乘以 (h(1−h))² 与权重平方和的乘积得到,并用该损失编译模型,学习率取 0.0003。它在信用卡数据上的精确召回曲线下面积约 0.83,超过原始版本,与 [[深度自编码器]] 相当,印证了不同约束路径都能提升鲁棒表示。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 受限玻尔兹曼机和自编码器 自编码器变体与信用卡欺诈检测 · 查看原书依据
我们将学习的最后一种自编码器是压缩自编码器。 它们与稀疏兄弟相似,因为它们增加了惩罚项以学习更强大的表示形式。 但是,惩罚项更为复杂
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文指出压缩自编码器与稀疏版本同属加惩罚项以学更强表示,但惩罚项更复杂,支撑其与稀疏变体的对比定位。
- 原始内容:我们将学习的最后一种自编码器是压缩自编码器。 它们与稀疏兄弟相似,因为它们增加了惩罚项以学习更强大的表示形式。 但是,惩罚项更为复杂