知识卡片

普通读书笔记卡 · 9421.b · 生成模型:Tencent Hunyuan Hy

对比散度与参数梯度

理解等级:高级

对比散度是 RBM 训练中估计梯度的核心技巧。经过 k 步吉布斯采样后,得到初始可见向量 v0 与重建后的 vk,以及采样前后的条件概率 P(h|v0)、P(h|vk)。权重梯度由两者的外积之差给出:ΔW = v0⊗P(h|v0) − vk⊗P(h|vk),偏置梯度分别是可见层的 v0−vk 与隐藏层的 P(h|v0)−P(h|vk),这些差值统称对比散度。它衡量重建分布与真实数据分布的差异:若重建得好,梯度趋近零,训练即可收敛。相比精确计算模型期望,只跑 k 步(如 2 或 5 步)采样大幅降低了计算成本,使 RBM 可实用,具体落地见 [[RBM 实现流程]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文说明梯度由初始状态与 k 步吉布斯步骤后的状态计算、⊗为外积,并把这些梯度命名为对比散度,支撑其定义与作用。 - 原始内容:除了浅层架构,我们还将继续使用称为深度信念网络(DBN)的 RBM 堆叠版本,并使用它对图像进行分类,当然,我们在 TensorFlow 中实现。