← 返回卡片

原书出处

大模型技术30讲

18 第18章 使用和微调预训练Transformer

核验版本的摘录快照 · 导入于 2026-11-18T10:51:38.338Z

# 适配器 x=LayerNorm(x+residual) return x

低秩自适应(LoRA)是另一种值得考虑且流行的参数高效的微调方法,它是指用低秩变换对预训练大模型的权重进行重新参数化。

LoRA与低秩变换的概念相关,低秩变换是一种使用低维表征来近似高维矩阵或数据集的

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0024.xhtml

EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec