← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 3788.n.2

玻尔兹曼机允许同层连接

理解等级:中级

RBM 限制同一层单元不互连,使给定一层时另一层的单元可条件独立地处理。一般玻尔兹曼机放宽该限制,允许层内连接,能表达更多相互依赖,也使采样和训练更复杂。二者均以能量定义概率分布;原书称其为“自编码网络”会混淆能量模型与以重建映射为核心的自编码器。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1 9 . 2 . 2 典 型 神 经 网 络 结 构 · 查看原书依据

      与受限玻尔兹曼机的区别在于,玻尔兹曼机不限制同一层的单元是相互独立的,即可以相互连接,其推导公式与受限玻尔兹曼机类似,记且x=v,x=h,其能量函数为: vh 进一步,概率密度函数为: 其中,,假设给定的数据集服从独立同分布,则优化目标函数为: n 其中,是第n个样本v,求解与之前的对比散度算法类似。

    参考来源

    - 位置:《智能算法导论》第 182 项《19.2.2 典型神经网络结构/玻尔兹曼机与受限玻尔兹曼机》(源文件:`_epub-src/EPUB/xhtml/chapter19_0005.xhtml`,式 19-61–19-63) - 结论依据:正文明确“玻尔兹曼机不限制同一层的单元是相互独立的,即可以相互连接”,并分别给出能量、概率和似然目标;模型类别的混用未沿用。 - 原始内容:“与受限玻尔兹曼机的区别在于,玻尔兹曼机不限制同一层的单元是相互独立的,即可以相互连接”。