← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 6473.d.2.e.1.c.1 · 生成模型:未记录

Inception分数与FID的局限

理解等级:中级

Inception 分数结合单样本分类预测的集中程度与跨样本类别分布的多样性,但依赖分类器,不能充分衡量类内多样性。FID 比较真实和生成样本的 Inception 特征所拟合高斯分布的均值与协方差,通常越低越好;它受特征、样本量与预处理影响,也不能单独证明模型没有记忆训练样本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 生成模型 8.7 GAN的性能评估方法 · 查看原书依据

      过去常用Inception分数来度量质量和多样性. 如果质量高并且多样性强,Inception分数就会比较高.目前研究人员通常评估另一个分数,称为Fréchet Inception Distance(FID). 具体来讲,就是先把生成器产生的人脸图片输入Inception网络,让Inception网络输出图片的类别.这里需要的不是最终的类别,而是进入softmax函数之前的隐藏层的输出向量,这个向量达到了上千维,代表一张人脸图片. 如图8.28 所示,图中所有的红色点代表在把真实图片丢到Inception网络以后,得到的一个向量. 这个向量的维数其实非常高,甚至达到上千维,我们把它降维后,画在了二维的平面上.蓝色点是GAN产生的图片在被输入Inception网络以后,进入softmax函数之前的向量.接下来,假设真实图片和虚假图片都服从高斯分布,然后计算这两个分布之间的FID. 这两个分布之间的FID越小,代表这两张图片越接近,也就是虚假图片的品质越高.这里还有两个细节之需要注意. 首先,要考虑做出真实图片和虚假图片都服从高斯分布的假设是否合理,其次,如果想要准确地得到网络的分布,则需要产生大量的采样样本,这需要一点运算量.

    参考来源

    - 位置:《深度学习详解》第8章《生成模型》8.7 GAN的性能评估方法(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter08.xhtml`) - 结论依据:原文解释离散输出的梯度障碍、模式崩塌和图像生成评价;指标局限按条件表述。 - 原始内容:过去常用Inception分数来度量质量和多样性. 如果质量高并且多样性强,Inception分数就会比较高.目前研究人员通常评估另一个分数,称为Fréchet Inception Distance(FID). 具体来讲,就是先把生成器产生的人脸图片输入Inception网络,让Inception网络输出图片的类别.这里需要的不是最终的类别,而是进入softmax函数之前的隐藏层的输出向量,这个向量达到了上千维,代表一张人脸图片. 如图8.28 所示,图中所有的红色点代表在把真实图片丢到Inception网络以后,得到的一个向量. 这个向量的维数其实非常高,甚至达到上千维,我们把它降维后,画在了二维的平面上.蓝色点是GAN产生的图片在被输入Inception网络以后,进入softmax函数之前的向量.接下来,假设真实图片和虚假图片都服从高斯分布,然后计算这两个分布之间的FID. 这两个分布之间的FID越小,代表这两张图片越接近,也就是虚假图片的品质越高.这里还有两个细节之需要注意. 首先,要考虑做出真实图片和虚假图片都服从高斯分布的假设是否合理,其次,如果想要准确地得到网络的分布,则需要产生大量的采样样本,这需要一点运算量.