知识卡片
迁移学习不是万能
做法很直接:在通用大数据集上预训练,再在目标小数据集上微调,把底层特征(边缘、纹理、语法)当作可复用的经验。真正要判断的是三个边界。
一,域相关吗。自然图像到自然图像、通用语料到领域语料,浅层可迁移;医学影像、卫星、频谱图这类与自然图像统计差异大的目标域,浅层尚可、深层往往要重训,甚至不迁移更稳。
二,模型支持更新吗。这是硬约束:决策树等非参数模型没有可微权重,无法微调,迁移这套基本用不上。所以书里说迁移学习通常在深度学习背景下进行。
三,微调多深。全量微调在几百张图上极易过拟合;冻结主干只训头部更稳,但容量受限;折中是分层学习率,先冻后逐步解冻。
顺序建议:目标集极小先试冻结加线性头作为基线,有提升再逐层解冻,并用固定划分对比,避免把随机波动当成迁移的收益。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第30章 有限的有标签数据 · 查看原书依据
迁移学习通常在深度学习的背景下进行,其中模型的权重可以更新。这与基于树的方法形成鲜明对比,因为大多数决策树算法是非参数模型,不支持迭代训练或参数更新。
参考来源
- 位置:《大模型技术30讲》第30讲 有限的有标签数据(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0038.xhtml)
- 结论依据:第30章 30.1.3 迁移学习(图30-1)
- 原始内容:迁移学习通常在深度学习的背景下进行,其中模型的权重可以更新。这与基于树的方法形成鲜明对比,因为大多数决策树算法是非参数模型,不支持迭代训练或参数更新。