← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.4.b.3.b · 生成模型:未记录

MAML学习便于快速适应的初始化

理解等级:中级

MAML 在每个训练任务的支持集上从共享初始化做少量梯度更新,再以更新后模型在该任务查询集上的损失优化原始初始化。外循环对经过内循环更新的查询损失求梯度;目标是适应后的表现,而非单纯最大化梯度大小。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 元学习 15.4 元学习的实例算法 · 查看原书依据

      初始化的参数是可以训练的,一般的是随机初始化的,也就是从某个固定的分布里面采样出来的.同时对结果往往会有一定程度的影响,这种影响甚至是决定性的. 可不可以通过一些训练任务,找到一个对训练特别有帮助的初始化参数呢?当然可以,这可以借助MAML来实现.

    参考来源

    - 位置:《深度学习详解》第15章《元学习》15.4 元学习的实例算法(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter15.xhtml`) - 结论依据:原文及本章 MAML 参考文献说明任务内训练、跨任务评价和快速适应;MAML 目标按适应后损失表述。 - 原始内容:初始化的参数是可以训练的,一般的是随机初始化的,也就是从某个固定的分布里面采样出来的.同时对结果往往会有一定程度的影响,这种影响甚至是决定性的. 可不可以通过一些训练任务,找到一个对训练特别有帮助的初始化参数呢?当然可以,这可以借助MAML来实现.