原书出处
大语言模型-基础与前沿 (熊涛)
05 第5章 上下文学习和轻量级微调
数,可以达到与全参数微调相当的性能。 本节旨在讨论轻量级微调所面临的挑战,回顾最近研究的方法,并提出这些方法的分类标准。
这些方法可以分为3组——基于添加、基于规范和基于重新参数化。基于添加的方法向模型中添加少量参数,然后对其进行微调。相比之下,基于规范的方法通过调整模型架构或超参数以实现有效的调整。基于重新参数化的方法修改模型的现有参数,实现轻量级微调。
5.3.1 基于添加的方法 基于添加方法的主要概念是通过添加其他参数或层来增强已训练的模型,并仅训练新添加的部分。目前,
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d