← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9680.c · 生成模型:DeepSeek-V4.1-Flash

迁移学习不是万能

理解等级:中级

做法很直接:在通用大数据集上预训练,再在目标小数据集上微调,把底层特征(边缘、纹理、语法)当作可复用的经验。真正要判断的是三个边界。

一,域相关吗。自然图像到自然图像、通用语料到领域语料,浅层可迁移;医学影像、卫星、频谱图这类与自然图像统计差异大的目标域,浅层尚可、深层往往要重训,甚至不迁移更稳。

二,模型支持更新吗。这是硬约束:决策树等非参数模型没有可微权重,无法微调,迁移这套基本用不上。所以书里说迁移学习通常在深度学习背景下进行。

三,微调多深。全量微调在几百张图上极易过拟合;冻结主干只训头部更稳,但容量受限;折中是分层学习率,先冻后逐步解冻。

顺序建议:目标集极小先试冻结加线性头作为基线,有提升再逐层解冻,并用固定划分对比,避免把随机波动当成迁移的收益。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第30章 有限的有标签数据 · 查看原书依据

      迁移学习通常在深度学习的背景下进行,其中模型的权重可以更新。这与基于树的方法形成鲜明对比,因为大多数决策树算法是非参数模型,不支持迭代训练或参数更新。

    参考来源

    - 位置:《大模型技术30讲》第30讲 有限的有标签数据(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0038.xhtml) - 结论依据:第30章 30.1.3 迁移学习(图30-1) - 原始内容:迁移学习通常在深度学习的背景下进行,其中模型的权重可以更新。这与基于树的方法形成鲜明对比,因为大多数决策树算法是非参数模型,不支持迭代训练或参数更新。