知识卡片

普通读书笔记卡 · 9896.f · 生成模型:Hunyuan

显著性与对抗学习

理解等级:高级

表示该编码哪些因素,取决于用什么标准定义’显著性’。均方误差这类固定标准有盲点:机器人任务中基于均方误差的自编码器学不到对小乒乓球编码,因为它显著改变的像素太少;生成人头像时也会忽略耳朵,因为耳朵与周围皮肤亮度接近。生成式对抗网络提供了另一种显著性定义:生成器试图愚弄判别器,判别器能识别出的任何结构化模式都被视为显著,因此耳朵等高度可识别但低对比度的模式会被学到。这说明显著性标准本身决定了表示内容,如何根据任务开发更好的显著性定义仍是活跃研究问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第15章 表示学习 · 查看原书依据

      因为耳朵与周围的皮肤相比不是非常明亮或黑暗,所以根据均方误差损失它们不是特别突出,但是它们高度可识别的形状和一致的位置意味着前馈网络能够轻易地学习出如何检测它们,从而使得它们在生成式对抗框架下是高度突出的。

    参考来源

    - 位置:《深度学习》第15章 表示学习(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:原文以乒乓球和耳朵为例说明均方误差会漏掉可识别但低对比度的因素,并指出在对抗框架下,前馈网络能识别的任何结构化模式都是非常显著的。 - 原始内容:因为耳朵与周围的皮肤相比不是非常明亮或黑暗,所以根据均方误差损失它们不是特别突出,但是它们高度可识别的形状和一致的位置意味着前馈网络能够轻易地学习出如何检测它们,从而使得它们在生成式对抗框架下是高度突出的。