原书出处
大模型技术30讲
18 第18章 使用和微调预训练Transformer
# 适配器 x=LayerNorm(x+residual) return x
低秩自适应(LoRA)是另一种值得考虑且流行的参数高效的微调方法,它是指用低秩变换对预训练大模型的权重进行重新参数化。
LoRA与低秩变换的概念相关,低秩变换是一种使用低维表征来近似高维矩阵或数据集的
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0024.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec