← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 3788.n

RBM能量定义联合分布

理解等级:高级

受限玻尔兹曼机(RBM)把观测放在可见层 v,把潜在表示放在隐层 h;同层无连接,跨层权重 w 及两层偏置 a、b 共同定义每个状态的能量:E(v,h)=−(aᵀv+bᵀh+vᵀwh)。状态概率 P(v,h)=e^(−E)/Z,配分函数 Z 是所有状态的 e^(−E) 之和,用来把概率归一到总和为 1。

演示(补充):可见、隐层各 1 个二值单元,a=b=0、w=1。只有 (1,1) 的能量为 −1,其余三个状态为 0;Z=e+3≈5.72,于是 P(1,1)≈2.72⁄5.72≈0.48,其余各约 0.17。能量越低,概率越高。

训练的目标是让模型分布贴近数据分布,而不是只找单个最低能量状态。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1 9 . 2 . 2 典 型 神 经 网 络 结 构 · 查看原书依据

      受限玻尔兹曼机的数据集为(本质上,玻尔兹曼机和受限玻尔兹曼机为自编码网络,是一种无监督学习方式),受限(同一层的单元互相不连接)玻尔兹曼机建立的能量函数为: 基于能量函数,可以建立v、h的联合分布函数: 对于每一个样本v在参数θ=(a,b,w)确定下,通过式(19-56)得到对v的一个估计 其中,两个条件概率分布计算如下: 进一步,在数据集上构建优化目标函数为: 根据链式法则,估计参数值为: 其中为估计值,即: 若利用代入估算式中,则称为一阶对比散度算法;若使用,则称为二阶对比散度算法,以此类推,得到k阶对比散度算法。

    参考来源

    - 位置:《智能算法导论》第 182 项《19.2.2 典型神经网络结构/玻尔兹曼机与受限玻尔兹曼机》(源文件:`_epub-src/EPUB/xhtml/chapter19_0005.xhtml`,式 19-54–19-55) - 结论依据:正文描述可见层、隐层、受限的同层无连接结构、能量函数及联合分布;原文“能量最小化即理想状态”仅适用于状态偏好,不等于训练目标。单可见、单隐单元的概率演算为依据式(19-54)、(19-55)补充的教学示例,非书中数据。 - 原始内容:“受限(同一层的单元互相不连接)玻尔兹曼机建立的能量函数为……基于能量函数,可以建立v、h的联合分布函数”。