知识卡片

普通读书笔记卡 · 6473.d.2.e.1.a.1.a · 生成模型:未记录

WGAN的判别函数约束

理解等级:中级

Wasserstein-1 对偶形式是在所有 1-Lipschitz 函数上,最大化真实数据与生成数据的函数值期望差。WGAN 用受约束的神经网络近似这一函数并训练生成器缩小该差;有限网络和不充分优化意味着实际估计不必等于真实距离。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 生成模型 8.5 WGAN算法 · 查看原书依据

      WGAN实际上就是用Wasserstein距离取代JS距离. 接下来的问题是,Wasserstein 距离如何计算呢?Wasserstein距离的计算是一个最优化的问题,如图8.21 所示.这里简化过程,直接给出解决方案,也就是解图8.21中最大化问题的解,解出来以后,得到的值就是 和的Wasserstein距离.观察图8.21 中的公式,我们要找一个函数,函数可以想象成一个神经网络,这个神经网络的输入是,输出是.如果是从 采样得到的,则计算它的期望;如果是从 采样得到的,则计算它的期望,然后加上一个负号. 如果是从 采样得到的,则判别器的输出越大越好;如果是从 采样得到的,那么从生成器采样得到的输出应该越小越好.

    参考来源

    - 位置:《深度学习详解》第8章《生成模型》8.5 WGAN算法(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter08.xhtml`) - 结论依据:原文通过分布不重叠、运输距离、判别函数和梯度惩罚图解 WGAN;约束性质按近似解释。 - 原始内容:WGAN实际上就是用Wasserstein距离取代JS距离. 接下来的问题是,Wasserstein 距离如何计算呢?Wasserstein距离的计算是一个最优化的问题,如图8.21 所示.这里简化过程,直接给出解决方案,也就是解图8.21中最大化问题的解,解出来以后,得到的值就是 和的Wasserstein距离.观察图8.21 中的公式,我们要找一个函数,函数可以想象成一个神经网络,这个神经网络的输入是,输出是.如果是从 采样得到的,则计算它的期望;如果是从 采样得到的,则计算它的期望,然后加上一个负号. 如果是从 采样得到的,则判别器的输出越大越好;如果是从 采样得到的,那么从生成器采样得到的输出应该越小越好.