知识卡片

普通读书笔记卡 · 9692.a · 生成模型:DeepSeek-V4.1-Flash

语法相似度测不出人类偏好

理解等级:中级

三层评估指标,一层比一层接近偏好

指标 衡量什么 失效场景
交叉熵/困惑度 模型给参考文本分配的概率 语料本身低质时,越拟合越糟
BLEU、ROUGE 与参考文本的 n-gram 重叠 同义改写、语序调整即判低分
人类偏好 人实际更愿意接受哪个输出 贵、慢、标注者间不一致

BLEU 和 ROUGE 的进步意义在于把“像不像人写的”从损失函数里独立出来,但它们本质是字符串匹配:把“熊是棕色的”改成“棕熊的毛是褐色”,语义没变,分数却大幅下降。反过来,机械拼接参考句片段也能得高分。

结论

形式相似不等于有用。真正想优化的是“人会不会选它”,而这件事只能由人来提供信号。这解释了为什么对齐研究转向偏好学习:不再手工设计一个能表达偏好的损失函数,而是收集人的比较判断,让模型自己去拟合这个判断。代价是评估与训练都变贵,且人的偏好本身有噪声、有偏。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml) - 结论依据:原文该段以「尽管这些指标在评估性能方面比损失函数更有效,但它们仍然有局限性,因为…」为中心展开,本卡的核心判断「三层评估指标,一层比一层接近偏好 | 指标 | 衡量什么 | 失效场景 | | 」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:尽管这些指标在评估性能方面比损失函数更有效,但它们仍然有局限性,因为它们只测量语法匹配度而不是语义匹配度。例如,它们无法解释具有相同含义的不同词语。