知识卡片

普通读书笔记卡 · 9901.i · 生成模型:Hunyuan

高斯伯努利RBM

理解等级:中级

为处理图像、音频等实值数据,可以把RBM的可见单元换成高斯分布、隐藏单元仍保持二值,得到Gaussian-Bernoulli RBM。推导时从期望的条件分布p(v|h)出发,把涉及可见单元的项取负号后写入能量函数;其中产生的h_i h_j交叉项必须省略,否则模型就退化成线性因子模型而不是受限玻尔兹曼机。若假设精度矩阵为对角,还能为隐藏单元加入偏置项,使其在大权重时仍保持合理激活。精度矩阵可固定或学习,但通常限制为对角以便求逆。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 深度生成模型 · 查看原书依据

      受限玻尔兹曼机可以用于许多指数族的条件分布(Welling et al. ,2005)。其中,最常见的是具有二值隐藏单元和实值可见单元的RBM,其中可见单元上的条件分布是高斯分布(均值为隐藏单元的函数)。

    参考来源

    - 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文给出了Gaussian-Bernoulli RBM能量函数的推导思路,以及省略交叉项与精度矩阵选择的理由。 - 原始内容:受限玻尔兹曼机可以用于许多指数族的条件分布(Welling et al. ,2005)。其中,最常见的是具有二值隐藏单元和实值可见单元的RBM,其中可见单元上的条件分布是高斯分布(均值为隐藏单元的函数)。