知识卡片
微调范围可以是全部或部分参数
微调通过更新全部或部分参数改变模型;冻结参数在该轮训练中保持不变。可训练参数越多,通常需要更多梯度和优化器状态内存。参数高效微调围绕减少需更新参数设计,不能仅用模型总参数量估算训练成本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 微调
原书出处 · 1 处
- · 查看原书依据
整个模型或其中的一部分,使模型适应特定任务的过程。第5章和第6章讨论了基于提示词的方法,即通过提示词、上下文和工具来引导模型,而微调则是通过调整模型权重来实现模型的适配。
参考来源
- 位置:《AI工程:大模型应用开发实战》第7章《微调》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section015.xhtml)
- 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。
- 原始内容:整个模型或其中的一部分,使模型适应特定任务的过程。第5章和第6章讨论了基于提示词的方法,即通过提示词、上下文和工具来引导模型,而微调则是通过调整模型权重来实现模型的适配。