原书出处
深度学习详解
08 生成模型 8.5 WGAN算法
于是后来就有了一些其他的方法,比如 Improved WGAN[3],它使用了梯度惩罚(gradient penalty),从而让判别器变成了 1-Lipschitz 的函数.具体来说,如图8.22 所示,假设蓝色区域是真实数据的分布,橙色区域是生成数据的分布,在真实数据这边采样一个数据点,在生成数据这边采样另一个数据点,然后在这两个数据点之间采样第三个数据点,计算第三个数据点的梯度,使之接近1.这相当于在判别器的目标函数里加上一个惩罚项——用判别器的梯度的范数减去 1 的平方,这个惩罚项的系数是一个超参数,这个超参数可以让判别器变得平滑. 此外,也可以将判别器的参数限制在一个范围内,使其变成 1-Lipschitz 的函数,这叫作谱归一化.总之,这些方法都可以让判别器变成 1-Lipschitz 的函数,但这些方法都有一个问题,就是它们都在判别器的目标函数里加了一个惩罚项,而这个惩罚项的系数是一个超参数.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter08.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc