原书出处
从零构建大模型:算法、训练与微调
08 对比学习与对抗训练
在对比学习自监督预训练阶段,模型通过数据本身的结构学习到有效特征,而在下游任务中进行微调的目的是通过标注数据进一步优化模型,使其适应特定任务。微调过程保留了自监督阶段的通用特征,并将这些特征与下游任务的特定要求进行适配。在实现过程中,模型参数通常会被解冻或部分解冻以适应新任务。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter012_0002.xhtml
EPUB SHA-256:842d8d446ef11b03a65871e0294e4c77b0cbfd2b0d2f70e26bd747530b867901