← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 3788.n.1

对比散度用短链近似

理解等级:高级

训练 RBM(见 [[RBM能量定义联合分布]])要提高观测数据的概率。对权重 wᵢⱼ 的梯度是两项之差:可见单元 i 与隐单元 j 同时取 1 的平均程度,先在数据上算一次,再在模型分布上算一次,前者减后者。第二项要对所有状态求和(含配分函数 Z),状态数随单元数指数增长,无法直接计算。

对比散度(CD)用短采样链近似第二项:

  1. 从观测样本 v 出发,按 P(h|v) 采样隐层 h;
  2. 按 P(v|h) 重建可见层 v̂,再算出对应的 ĥ;
  3. 用 (v,h) 的统计量减去 (v̂,ĥ) 的统计量,作为梯度更新参数。

只交替一轮是 CD-1,交替 k 轮是 CD-k。短链节省计算,但近似有偏,重建得好也不必然表示模型分布拟合充分。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1 9 . 2 . 2 典 型 神 经 网 络 结 构 · 查看原书依据

      受限玻尔兹曼机的数据集为(本质上,玻尔兹曼机和受限玻尔兹曼机为自编码网络,是一种无监督学习方式),受限(同一层的单元互相不连接)玻尔兹曼机建立的能量函数为: 基于能量函数,可以建立v、h的联合分布函数: 对于每一个样本v在参数θ=(a,b,w)确定下,通过式(19-56)得到对v的一个估计 其中,两个条件概率分布计算如下: 进一步,在数据集上构建优化目标函数为: 根据链式法则,估计参数值为: 其中为估计值,即: 若利用代入估算式中,则称为一阶对比散度算法;若使用,则称为二阶对比散度算法,以此类推,得到k阶对比散度算法。 与受限玻尔兹曼机的区别在于,玻尔兹曼机不限制同一层的单元是相互独立的,即可以相互连接,其推导公式与受限玻尔兹曼机类似,记且x=v,x=h,其能量函数为: vh 进一步,概率密度函数为: 其中,,假设给定的数据集服从独立同分布,则优化目标函数为: n 其中,是第n个样本v,求解与之前的对比散度算法类似。

    参考来源

    - 位置:《智能算法导论》第 182 项《19.2.2 典型神经网络结构/玻尔兹曼机与受限玻尔兹曼机》(源文件:`_epub-src/EPUB/xhtml/chapter19_0005.xhtml`,式 19-56–19-60) - 结论依据:正文写出似然目标、原样本与估计样本的梯度差及一阶、二阶、k 阶对比散度。式 19-56 的重建箭头条件概率标注疑似重复,故只保留文中交替采样思路。 - 原始内容:“若利用……则称为一阶对比散度算法;若使用……则称为二阶对比散度算法,以此类推,得到k阶对比散度算法。”