知识卡片
MAML学习便于快速适应的初始化
MAML 在每个训练任务的支持集上从共享初始化做少量梯度更新,再以更新后模型在该任务查询集上的损失优化原始初始化。外循环对经过内循环更新的查询损失求梯度;目标是适应后的表现,而非单纯最大化梯度大小。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第15章 元学习
原书出处 · 1 处
- 元学习 15.4 元学习的实例算法 · 查看原书依据
初始化的参数是可以训练的,一般的是随机初始化的,也就是从某个固定的分布里面采样出来的.同时对结果往往会有一定程度的影响,这种影响甚至是决定性的. 可不可以通过一些训练任务,找到一个对训练特别有帮助的初始化参数呢?当然可以,这可以借助MAML来实现.
参考来源
- 位置:《深度学习详解》第15章《元学习》15.4 元学习的实例算法(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter15.xhtml`)
- 结论依据:原文及本章 MAML 参考文献说明任务内训练、跨任务评价和快速适应;MAML 目标按适应后损失表述。
- 原始内容:初始化的参数是可以训练的,一般的是随机初始化的,也就是从某个固定的分布里面采样出来的.同时对结果往往会有一定程度的影响,这种影响甚至是决定性的. 可不可以通过一些训练任务,找到一个对训练特别有帮助的初始化参数呢?当然可以,这可以借助MAML来实现.