知识卡片
基于模型的元学习与MANN
基于模型学习的元学习用顺序模型,几步即可更新参数,典型架构是记忆增强神经网络 MANN,外观类似 RNN。它把最后一步的样本作为待预测输入,前面各步依次读取训练样本,标签在上一步输入。借助这种显式存储缓冲区(一步偏移),网络能记住学习经验,而不只是做特征到标签的简单映射;又因可随机排列训练点批量生成训练案例,不受小样本规模限制。这区别于[[基于度量的元学习:连体网络]]的另一条路线。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度学习的新趋势 元学习:学习如何学习与主要方法 · 查看原书依据
在 MANN 中,模型的最后一步将提取要预测的样本。 在此之前,每个步骤都需要获取训练样本,并且样本的标签会在上一步中输入。 有了这种显式的存储缓冲区(也称为一步偏移),网络就可以记住学习经验,而不仅仅是从特征到标签的简单映射。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第08章《深度学习的新趋势》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/15.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文以 MANN 的显式存储缓冲区与随机排序训练案例,支撑基于模型的元学习可记住经验且不受小数据限制。
- 原始内容:在 MANN 中,模型的最后一步将提取要预测的样本。 在此之前,每个步骤都需要获取训练样本,并且样本的标签会在上一步中输入。 有了这种显式的存储缓冲区(也称为一步偏移),网络就可以记住学习经验,而不仅仅是从特征到标签的简单映射。