知识卡片

普通读书笔记卡 · 9901.o · 生成模型:Hunyuan

生成矩匹配网络的MMD目标

理解等级:高级

GMMN让生成器独自训练,不需要配对推断网络或判别器,其准则是让生成样本的统计矩尽量匹配训练样本。直接匹配x_i x_j等高阶矩在高维下不可行,且低阶矩只够拟合高斯。它改用最大平均偏差MMD:通过核函数把样本隐式映射到无限维特征空间,在该空间比较均值差异,MMD为零当且仅当两分布相等,从而让无限维矩的匹配变得可行。代价是损失定义在整批样本上,批量太小会低估分布变化,太大则训练缓慢。与GAN类似,即使给训练点零概率也能训练。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 深度生成模型 · 查看原书依据

      生成矩匹配网络使用称为矩匹配 (moment matching)的技术训练。矩匹配背后的基本思想是以如下的方式训练生成器——令模型生成的样本的许多统计量尽可能与训练集中的样本相似。

    参考来源

    - 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文说明矩匹配的想法、MMD的核技巧与零条件,以及批量大小带来的权衡。 - 原始内容:生成矩匹配网络使用称为矩匹配 (moment matching)的技术训练。矩匹配背后的基本思想是以如下的方式训练生成器——令模型生成的样本的许多统计量尽可能与训练集中的样本相似。