知识卡片

操作参考卡 · 9427.m · 生成模型:Tencent Hunyuan Hy

InfoGAN的损失实现

理解等级:高级

InfoGAN 损失由两部分相加而成。第一部分同标准 GAN:生成器损失是伪图判真的交叉熵,判别器损失是真图判真与伪图判假的交叉熵之和。第二部分是互信息损失,按类型分别计算:单热分类变量用 softmax 交叉熵,连续变量用其分布(如高斯)之间的方差即平方和近似。“信息损失”是二者加权和,分类项权重 lambda_cat=1.0、连续项 lambda_cont=0.1,分别加到双方损失上。训练时用函数随机生成条件变量(1 维连续值加 10 维一热标签),并固定样本观察效果:结果显示类别 0–9 并不对应数字 0–9,而代表十种类别,连续值控制旋转角度。参见[[互信息与InfoGAN目标]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 生成对抗网络 InfoGAN · 查看原书依据

      取决于潜在变量是什么,可以不同地计算I(c | G(z, c))。 对于分类变量,它是通过cross熵来衡量的。 对于连续变量,可以将其计算为其分布(例如高斯分布)之间的方差。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第07章《生成对抗网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/13.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文按分类与连续变量分别给出互信息的交叉熵与方差算法,支撑 InfoGAN 损失需分项加权实现的结论。 - 原始内容:取决于潜在变量是什么,可以不同地计算I(c | G(z, c))。 对于分类变量,它是通过cross熵来衡量的。 对于连续变量,可以将其计算为其分布(例如高斯分布)之间的方差。