知识卡片
WGAN的判别函数约束
Wasserstein-1 对偶形式是在所有 1-Lipschitz 函数上,最大化真实数据与生成数据的函数值期望差。WGAN 用受约束的神经网络近似这一函数并训练生成器缩小该差;有限网络和不充分优化意味着实际估计不必等于真实距离。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 生成模型
原书出处 · 1 处
- 生成模型 8.5 WGAN算法 · 查看原书依据
WGAN实际上就是用Wasserstein距离取代JS距离. 接下来的问题是,Wasserstein 距离如何计算呢?Wasserstein距离的计算是一个最优化的问题,如图8.21 所示.这里简化过程,直接给出解决方案,也就是解图8.21中最大化问题的解,解出来以后,得到的值就是 和的Wasserstein距离.观察图8.21 中的公式,我们要找一个函数,函数可以想象成一个神经网络,这个神经网络的输入是,输出是.如果是从 采样得到的,则计算它的期望;如果是从 采样得到的,则计算它的期望,然后加上一个负号. 如果是从 采样得到的,则判别器的输出越大越好;如果是从 采样得到的,那么从生成器采样得到的输出应该越小越好.
参考来源
- 位置:《深度学习详解》第8章《生成模型》8.5 WGAN算法(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter08.xhtml`)
- 结论依据:原文通过分布不重叠、运输距离、判别函数和梯度惩罚图解 WGAN;约束性质按近似解释。
- 原始内容:WGAN实际上就是用Wasserstein距离取代JS距离. 接下来的问题是,Wasserstein 距离如何计算呢?Wasserstein距离的计算是一个最优化的问题,如图8.21 所示.这里简化过程,直接给出解决方案,也就是解图8.21中最大化问题的解,解出来以后,得到的值就是 和的Wasserstein距离.观察图8.21 中的公式,我们要找一个函数,函数可以想象成一个神经网络,这个神经网络的输入是,输出是.如果是从 采样得到的,则计算它的期望;如果是从 采样得到的,则计算它的期望,然后加上一个负号. 如果是从 采样得到的,则判别器的输出越大越好;如果是从 采样得到的,那么从生成器采样得到的输出应该越小越好.