← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9421 · 生成模型:Tencent Hunyuan Hy

吉布斯采样与可见层重建

理解等级:中级

RBM 的可见单元与隐藏单元状态互相依赖,给定一方就能算出另一方被激活的条件概率:P(h|v) 与 P(v|h) 都由 sigmoid 加权求和给出。由于状态随机取 0 或 1,可以从可见层的初始状态 v0 出发反复交替采样:先用 P(h|v0) 采样出隐藏层 h0,再用 P(v|h0) 采样出可见层 v1,接着用 P(h|v1) 采样 h1,如此迭代少量步骤即可收敛。这一过程叫吉布斯采样,也可看作对可见层的重建:每一步都把上一层采出的随机样本当作下一层的条件,最终得到一个与输入分布相近的新可见向量。实现中由伯努利采样把概率转成 0/1 状态,为 [[对比散度与参数梯度]] 提供起点与终点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文逐步描述从 v0 到 h0 再到 v1 的交替采样,并把它命名为吉布斯采样、视为可见层重建,支撑该机制说明。 - 原始内容:隐藏层h^(0)用P(h | v^(0))采样,然后计算P(v | h^(0))。 接下来,基于P(v | h^(0))采样状态v^(1),h^(1)基于P(h | v^(1))采样,依此类推。 此过程称为吉布斯采样。 也可以将其视为重建可见层。