原书出处
大语言模型-基础与前沿 (熊涛)
10 第10章 减少偏见和有害性
模型进行微调,使其适用于无害数据领域。 该研究还表明,随着语言模型参数量的增加,DAPT和SGEAT的脱毒效果都会降低。
530B SGEAT语言模型的有害性概率仅比标准530B语言模型低16%,而126M语言模型的有害性概率则下降了27%。
较大的语言模型的改进幅度较小的原因在于,它们需要更多的训练数据和微调轮次来脱毒。研究人员通过增加训练轮次或生成更多数据进
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d