知识卡片
ROUGE的召回视角
与 BLEU 相反:BLEU 数“候选里有多少词在参考中”,ROUGE 数“参考里有多少词在候选中”,因此是召回率视角。现代实现取精确率与召回率的调和平均,即 F1。
| 变体 | 度量对象 | 适合捕捉 |
|---|---|---|
| ROUGE-1⁄2 | 1⁄2 元语法重叠 | 词汇覆盖 |
| ROUGE-L | 最长公共子序列 | 顺序一致的长片段 |
| ROUGE-S | 跳跃二元组 | 允许间隔的词对共现 |
假设:摘要的要点应当能在参考摘要的词里找到。失效边界:同义词与意译同样不计分;召回偏向会奖励又长又抄源文的摘要——把原文句子堆进去,召回自然高;它也无法判断事实一致性,摘要编错了但用词相近照样高分。它仍值得学,因为摘要领域几乎被它垄断:2021 年计算语言学会议的摘要论文全部用了 ROUGE,其中 69% 只用它。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 评测生成式大模型 · 查看原书依据
而ROUGE分数采取了一种反过来的方法,它检查参考文本中有多少个词出现在生成的文本中(这里通常是摘要而不是翻译),这可以被解读为一种基于召回率的得分。
参考来源
- 位置:《大模型技术30讲》第19讲 评测生成式大模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0025.xhtml)
- 结论依据:19.1.3 节与图19-2:说明 ROUGE 与 BLEU 方向相反、基于召回、现代实现取 F1,并列出 ROUGE-N/L/S 变体及同义词盲区;引用了 2021 年会议论文的 ROUGE 使用统计。
- 原始内容:而ROUGE分数采取了一种反过来的方法,它检查参考文本中有多少个词出现在生成的文本中(这里通常是摘要而不是翻译),这可以被解读为一种基于召回率的得分。