知识卡片
实值数据的条件协方差建模
自然图像的有用信息多藏在像素间的协方差而非绝对值中,而高斯RBM只对给定隐藏单元时的条件均值建模,无法捕获条件协方差。为此出现三类模型:mcRBM用两组隐藏单元分别编码条件均值与协方差;mPoT用条件独立的Gamma分布作为隐藏变量的互补分布;ssRBM用二值尖峰门控实值平板变量,沿特定方向捏合精度矩阵。mcRBM与mPoT因非对角条件协方差难以采样,需借助哈密尔顿蒙特卡罗;ssRBM可用CD/PCD且无需矩阵求逆,过完备设定下更合适,但某些参数会导致协方差非正定。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第20章 深度生成模型 · 查看原书依据
问题在于自然图像中的许多信息内容嵌入于像素之间的协方差而不是原始像素值中。换句话说,图像中的大多数有用信息在于像素之间的关系,而不是其绝对值。
参考来源
- 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html)
- 结论依据:原文比较了三种条件协方差模型的动机、采样难度与参数化差异,并指出ssRBM的优缺点。
- 原始内容:问题在于自然图像中的许多信息内容嵌入于像素之间的协方差而不是原始像素值中。换句话说,图像中的大多数有用信息在于像素之间的关系,而不是其绝对值。