← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9852.g · 生成模型:Hunyuan

预训练模型使用的四种情形

理解等级:中级

使用预训练模型要同时考虑目标数据量与目标数据和源数据的相关性,按数据集大小与相似度分四种情形处理。数据小且相似度高:把网络当固定特征提取器,去掉输出层、冻结其余模块,只调整分类器。数据大且相似度高:冻结少量低层、改分类器后重新训练。数据小且相似度低:冻结较少高层、重训后面网络,靠冻结部分低层弥补数据不足。数据大且相似度低:差异过大时迁移不高效,最好全部权重初始化后重训。实践常同时尝试多种再择优。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 计算机视觉处理 · 查看原书依据

      在学习如何使用预训练模型时,首先要考虑目标模型的数据量及目标数据与源数据的相关性。一般建议根据数据集与预训练模型的数据集的不同相似度,采用不同的处理方法,如图3-10所示。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第3章 计算机视觉处理(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter6_0002.xhtml) - 结论依据:原文以图 3-10 为依据,按调整程度从 1 到 4 排序,分别说明四种数据量与相似度组合下的处理方式。 - 原始内容:在学习如何使用预训练模型时,首先要考虑目标模型的数据量及目标数据与源数据的相关性。一般建议根据数据集与预训练模型的数据集的不同相似度,采用不同的处理方法,如图3-10所示。