← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9547.f · 生成模型:DeepSeek-V4.1-Flash

ROUGE用召回率衡量内容覆盖

理解等级:中级

ROUGE 与 BLEU 方向相反:它问的不是”生成的内容有多少是对的”,而是”参考文本里的内容有多少被生成覆盖了”。因此它天然偏向召回率,适合摘要、压缩这类任务——摘要的价值在于不遗漏要点,而不在于每个词都照抄原文。

书中使用 rouge_scorer 计算三个变体:rouge1 按单个词统计重合,反映关键词覆盖;rouge2 按相邻词对统计,能部分反映短语层面的忠实度;rougeL 按最长公共子序列统计,对语序调整比 n-gram 更宽容。每个变体都给出精确率、召回率与 F1,三者一起看才知道模型是”漏”得多还是”编”得多。

它与 [[BLEU用n元组重合算精确率]] 构成一对互补指标:一个盯精确率,一个盯召回率,同时看可以避免”全部照抄”或”大量遗漏”这两种极端被单边奖励。局限也一样,两者都建立在字面重合上,无法判断语义是否等价,也不理解指代与逻辑;示例中生成文本是对参考的改写,BLEU 为 0.85、rouge1 的 F1 为 0.94,分数虽高却仍只是字面统计的结果。真实评估还需要 [[困惑度低不等于文本质量高]] 所提示的人工判断。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第2章《GPT模型文本生成核心原理与实现》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter006_0003.xhtml) - 结论依据:原文指出 ROUGE"更注重召回率,适合评估摘要生成等任务中的文本覆盖度",并说明 rouge1、rouge2、rougeL 分别给出精确率、召回率与 F1。 - 原始内容:ROUGE分数计算:calculate_rouge函数使用rouge_scorer计算生成文本与参考文本之间的覆盖度,给出rouge1、rouge2、rougeL等不同度量的精确率、召回率和F1分数。