← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9427.l · 生成模型:Tencent Hunyuan Hy

互信息与InfoGAN目标

理解等级:高级

InfoGAN 能学到潜在特征,靠的是最大化信息论中的互信息。其损失在常规 GAN 损失上减去互信息项 I(c; G(z, c)),即 L_InfoGAN = L(D, G) − I(c; G(z, c)),让 c 与生成输出共享尽可能多的信息。互信息 I(a, b) 衡量“知道 b 后对 a 了解了多少”:P(a|b) 预测越准确,互信息越高;I(a, b)=0 表示两者无关。即让 P(c | G(z, c)) 被尽量准确预测。实现中判别器后半接三组输出:真假对率、连续变量后验与分类变量后验,生成器把噪声与条件变量拼接后生成图像。参见[[InfoGAN的损失实现]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第07章《生成对抗网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/13.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文给出 L_InfoGAN 用互信息项修正常规损失并定义互信息含义,支撑以最大化互信息学习潜在特征的结论。 - 原始内容:顾名思义,它们是通过最大化信息来实现的,信息是指信息论中的互信息。 我们希望最大化c与生成器生成的输出之间的相互信息。