原书出处
大语言模型-基础与前沿 (熊涛)
09 第9章 对齐语言模型与人类偏好
模型的目标是接收提示和响应,并将生成的标量奖励作为输出。对于每个提示,生成个比较结果并提供给数据标注者,以创建数据集D。
奖励模型使用交叉熵损失进行训练,并将比较结果作为标签。奖励的差异代表了人类标注者更倾向于选择一种响应而不是另一种响应的对数概率。
其中,r(x, y)是奖励模型对提示x和完成y的标量输出,参数为θ,y是y和y对中首选的完成,D是人类比较结果的数据集。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d