知识卡片
语法相似度测不出人类偏好
三层评估指标,一层比一层接近偏好
| 指标 | 衡量什么 | 失效场景 |
|---|---|---|
| 交叉熵/困惑度 | 模型给参考文本分配的概率 | 语料本身低质时,越拟合越糟 |
| BLEU、ROUGE | 与参考文本的 n-gram 重叠 | 同义改写、语序调整即判低分 |
| 人类偏好 | 人实际更愿意接受哪个输出 | 贵、慢、标注者间不一致 |
BLEU 和 ROUGE 的进步意义在于把“像不像人写的”从损失函数里独立出来,但它们本质是字符串匹配:把“熊是棕色的”改成“棕熊的毛是褐色”,语义没变,分数却大幅下降。反过来,机械拼接参考句片段也能得高分。
结论
形式相似不等于有用。真正想优化的是“人会不会选它”,而这件事只能由人来提供信号。这解释了为什么对齐研究转向偏好学习:不再手工设计一个能表达偏好的损失函数,而是收集人的比较判断,让模型自己去拟合这个判断。代价是评估与训练都变贵,且人的偏好本身有噪声、有偏。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 对齐语言模型与人类偏好 · 查看原书依据
尽管这些指标在评估性能方面比损失函数更有效,但它们仍然有局限性,因为它们只测量语法匹配度而不是语义匹配度。例如,它们无法解释具有相同含义的不同词语。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第9章《对齐语言模型与人类偏好》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter11.xhtml)
- 结论依据:原文该段以「尽管这些指标在评估性能方面比损失函数更有效,但它们仍然有局限性,因为…」为中心展开,本卡的核心判断「三层评估指标,一层比一层接近偏好 | 指标 | 衡量什么 | 失效场景 | | 」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:尽管这些指标在评估性能方面比损失函数更有效,但它们仍然有局限性,因为它们只测量语法匹配度而不是语义匹配度。例如,它们无法解释具有相同含义的不同词语。