← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9421.c · 生成模型:Tencent Hunyuan Hy

RBM 的演进之路

理解等级:初级

RBM 有清晰的演进路径。1983 年 Hinton 与 Smolensky 发明玻尔兹曼机,单元取二值并全连接,虽能学有趣表征,但训练时间随规模指数增长。1986 年 Smolensky 提出连接受限的 Harmonium;2000 年中期 Hinton 等人简化为只含一个隐藏层、隐藏单元间无内部连接的 RBM,训练更高效。RBM 随后用于图像分类、语音识别等监督任务,以及降维、特征学习、协同过滤等无监督任务。2006 年 Hinton 又把多个 RBM 堆叠成深度信念网络,前一 RBM 的隐藏层充当下一 RBM 的可见层,形成分层特征检测器,见 [[深度信念网络的堆叠与逐层训练]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第03章《受限玻尔兹曼机和自编码器》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/06.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文按 1983 年玻尔兹曼机、1986 年 Harmonium、2000 年代中期 RBM、2006 年 DBN 的时间线叙述结构受限化的动因,并列举监督与无监督应用,支撑演进脉络。 - 原始内容:为了使学习玻尔兹曼机模型更容易,Paul Smolensky 于 1986 年首次发明了一种称为 Harmonium 的连接受限的版本。 在 2000 年中期,Geoffrey Hinton 和其他研究人员发明了一种效率更高的架构,该架构仅包含一个隐藏层,并且不允许隐藏单元之间进行任何内部连接。