知识卡片
RBM 实现流程
在 TensorFlow 中实现 RBM 可按固定流程推进。先初始化参数:偏置全置 0,权重用 √(2/(可见+隐藏单元数)) 等启发式在区间内均匀采样,以避免收敛过慢。每个吉布斯步骤中,隐藏层按 P(h|v) 伯努利采样,再用 P(v|h) 生成可见层的重建,并据最新可见向量更新 P(h|v);其中两个条件概率都由 sigmoid 加权和算出。采样结束后按对比散度公式计算 ΔW、Δa、Δb,用 assign 配合学习率更新参数,并记录重建的均方误差。训练采用小批量梯度下降,每隔 10 个周期打印误差。电影推荐实现还需在每步后把未评分单元还原为 0,见 [[电影推荐:评分处理与模拟评估]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 受限玻尔兹曼机和自编码器 RBM 实现与电影推荐 · 查看原书依据
在每个吉布斯步骤中,隐藏层h是根据P(h | v)通过伯努利采样获得的; 计算条件概率P(v | h)并用于生成可见向量v的重建版本; 并根据最新的可见向量更新条件概率P(h | v)。 最后,它返回吉布斯采样之前和之后的可见向量,以及吉布斯采样之前和之后的条件概率P(h | v)。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文给出吉布斯采样函数每步的操作——伯努利采样隐藏层、计算 P(v|h) 重建可见层、更新 P(h|v) 并返回采样前后结果,支撑实现流程参考。
- 原始内容:在每个吉布斯步骤中,隐藏层h是根据P(h | v)通过伯努利采样获得的; 计算条件概率P(v | h)并用于生成可见向量v的重建版本; 并根据最新的可见向量更新条件概率P(h | v)。 最后,它返回吉布斯采样之前和之后的可见向量,以及吉布斯采样之前和之后的条件概率P(h | v)。