← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9692.c · 生成模型:DeepSeek-V4.1-Flash

成对比较如何学出奖励

理解等级:中级

为什么不直接让人打分

让标注者给 1 到 10 分,不同人的刻度不同、同一人前后也不一致;而“A 和 B 你选哪个”是低噪声、易共识的判断。所以奖励模型学的不是绝对分数,而是相对偏好。

Bradley-Terry 式假设

核心假设只有一句:人对 A 优于 B 的概率,由两者奖励之差经过一个 S 形函数决定。也就是 P(A 胜 B) 等于 sigmoid(r(A) 减 r(B))。等价地,奖励之差等于“A 被选中的对数几率”。这样,只要奖励的差值与观察到的选择频率对得上,奖励的绝对零点就无关紧要——奖励只在相对意义上有定义。

损失与陷阱

训练目标是对比较数据做交叉熵:让被选中的那条奖励更高。实现上有两个易错点。一是把每个比较当独立样本容易过拟合,常见做法是把同一组内的多个排名当成一个批次一起算。二是奖励尺度不受约束,可整体平移缩放而不改变偏好概率,这会与后面 KL 项的系数 β 纠缠在一起——只有 r 除以 β 这一比值有意义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「奖励模型使用交叉熵损失进行训练,并将比较结果作为标签。奖励的差异代表…」为中心展开,本卡的核心判断「为什么不直接让人打分 让标注者给 1 到 10 分,不同人的刻度不同、同一人前后也不一致;」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:奖励模型使用交叉熵损失进行训练,并将比较结果作为标签。奖励的差异代表了人类标注者更倾向于选择一种响应而不是另一种响应的对数概率。