← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.2.e.1.a.1.a.1 · 生成模型:未记录

WGAN梯度惩罚的作用与边界

理解等级:中级

原始 WGAN 将判别网络权重裁剪到有限范围以约束函数变化,但这不保证恰好满足 1-Lipschitz。WGAN-GP 在真实样本与生成样本连线的采样点上,惩罚输入梯度范数偏离 1;这是局部、采样式的约束,不保证全局 Lipschitz 性质。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 生成模型 8.5 WGAN算法 · 查看原书依据

      于是后来就有了一些其他的方法,比如 Improved WGAN[3],它使用了梯度惩罚(gradient penalty),从而让判别器变成了 1-Lipschitz 的函数.具体来说,如图8.22 所示,假设蓝色区域是真实数据的分布,橙色区域是生成数据的分布,在真实数据这边采样一个数据点,在生成数据这边采样另一个数据点,然后在这两个数据点之间采样第三个数据点,计算第三个数据点的梯度,使之接近1.这相当于在判别器的目标函数里加上一个惩罚项——用判别器的梯度的范数减去 1 的平方,这个惩罚项的系数是一个超参数,这个超参数可以让判别器变得平滑. 此外,也可以将判别器的参数限制在一个范围内,使其变成 1-Lipschitz 的函数,这叫作谱归一化.总之,这些方法都可以让判别器变成 1-Lipschitz 的函数,但这些方法都有一个问题,就是它们都在判别器的目标函数里加了一个惩罚项,而这个惩罚项的系数是一个超参数.

    参考来源

    - 位置:《深度学习详解》第8章《生成模型》8.5 WGAN算法(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter08.xhtml`) - 结论依据:原文通过分布不重叠、运输距离、判别函数和梯度惩罚图解 WGAN;约束性质按近似解释。 - 原始内容:于是后来就有了一些其他的方法,比如 Improved WGAN[3],它使用了梯度惩罚(gradient penalty),从而让判别器变成了 1-Lipschitz 的函数.具体来说,如图8.22 所示,假设蓝色区域是真实数据的分布,橙色区域是生成数据的分布,在真实数据这边采样一个数据点,在生成数据这边采样另一个数据点,然后在这两个数据点之间采样第三个数据点,计算第三个数据点的梯度,使之接近1.这相当于在判别器的目标函数里加上一个惩罚项——用判别器的梯度的范数减去 1 的平方,这个惩罚项的系数是一个超参数,这个超参数可以让判别器变得平滑. 此外,也可以将判别器的参数限制在一个范围内,使其变成 1-Lipschitz 的函数,这叫作谱归一化.总之,这些方法都可以让判别器变成 1-Lipschitz 的函数,但这些方法都有一个问题,就是它们都在判别器的目标函数里加了一个惩罚项,而这个惩罚项的系数是一个超参数.