知识卡片
生成矩匹配网络的MMD目标
GMMN让生成器独自训练,不需要配对推断网络或判别器,其准则是让生成样本的统计矩尽量匹配训练样本。直接匹配x_i x_j等高阶矩在高维下不可行,且低阶矩只够拟合高斯。它改用最大平均偏差MMD:通过核函数把样本隐式映射到无限维特征空间,在该空间比较均值差异,MMD为零当且仅当两分布相等,从而让无限维矩的匹配变得可行。代价是损失定义在整批样本上,批量太小会低估分布变化,太大则训练缓慢。与GAN类似,即使给训练点零概率也能训练。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第20章 深度生成模型 · 查看原书依据
生成矩匹配网络使用称为矩匹配 (moment matching)的技术训练。矩匹配背后的基本思想是以如下的方式训练生成器——令模型生成的样本的许多统计量尽可能与训练集中的样本相似。
参考来源
- 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html)
- 结论依据:原文说明矩匹配的想法、MMD的核技巧与零条件,以及批量大小带来的权衡。
- 原始内容:生成矩匹配网络使用称为矩匹配 (moment matching)的技术训练。矩匹配背后的基本思想是以如下的方式训练生成器——令模型生成的样本的许多统计量尽可能与训练集中的样本相似。