知识卡片

普通读书笔记卡 · 9669.b · 生成模型:DeepSeek-V4.1-Flash

ROUGE的召回视角

理解等级:中级

与 BLEU 相反:BLEU 数“候选里有多少词在参考中”,ROUGE 数“参考里有多少词在候选中”,因此是召回率视角。现代实现取精确率与召回率的调和平均,即 F1。

变体 度量对象 适合捕捉
ROUGE-1⁄2 1⁄2 元语法重叠 词汇覆盖
ROUGE-L 最长公共子序列 顺序一致的长片段
ROUGE-S 跳跃二元组 允许间隔的词对共现

假设:摘要的要点应当能在参考摘要的词里找到。失效边界:同义词与意译同样不计分;召回偏向会奖励又长又抄源文的摘要——把原文句子堆进去,召回自然高;它也无法判断事实一致性,摘要编错了但用词相近照样高分。它仍值得学,因为摘要领域几乎被它垄断:2021 年计算语言学会议的摘要论文全部用了 ROUGE,其中 69% 只用它。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第19讲 评测生成式大模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0025.xhtml) - 结论依据:19.1.3 节与图19-2:说明 ROUGE 与 BLEU 方向相反、基于召回、现代实现取 F1,并列出 ROUGE-N/L/S 变体及同义词盲区;引用了 2021 年会议论文的 ROUGE 使用统计。 - 原始内容:而ROUGE分数采取了一种反过来的方法,它检查参考文本中有多少个词出现在生成的文本中(这里通常是摘要而不是翻译),这可以被解读为一种基于召回率的得分。