← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9852.i · 生成模型:Hunyuan

PyTorch特征提取实例

理解等级:中级

特征提取的做法是在预训练网络后修改或添加一个简单分类器,把预训练网络当作固定特征提取器,只重学最后分类器参数,预训练参数保持不变或被冻结。实例用 resnet18,先将所有参数 requires_grad 设为 False 冻结,再把 1000 类输出的全连接层换成 10 类,优化器只优化最后一层。这样需训练参数从约 1118 万降到 5130 个,验证准确率约 75%。它体现了 [[迁移学习复用已有模型]] 中数据小且相似度高的思路。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 计算机视觉处理 · 查看原书依据

      在特征提取中,可以在预先训练好的网络结构后修改或添加一个简单的分类器,然后将源任务上预先训练好的网络作为另一个目标任务的特征提取器,只对最后增加的分类器参数进行重新学习,而预先训练好的网络参数不被修改或冻结。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第3章 计算机视觉处理(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter6_0004.xhtml) - 结论依据:原文定义特征提取,并给出 resnet18 冻结参数、替换 fc 层与只训最后一层的代码及 75% 准确率结果。 - 原始内容:在特征提取中,可以在预先训练好的网络结构后修改或添加一个简单的分类器,然后将源任务上预先训练好的网络作为另一个目标任务的特征提取器,只对最后增加的分类器参数进行重新学习,而预先训练好的网络参数不被修改或冻结。