知识卡片
BLEU用n元组重合算精确率
BLEU 用字面重合来打分:把生成文本和参考文本分别切成连续的 n 个词片段(n-gram),统计生成文本中有多少片段在参考文本里出现过,以此衡量生成内容的精确性。n 取 1 看单词是否对上,取 2、3、4 则要求更长的连续片段一致,越长的 n 越能反映语序是否正确。
它的计算有几个必要处理。参考文本往往不止一句,一个片段只要在任一参考中出现就算命中;生成文本通常比参考短,短句容易靠少量命中刷出高分,因此需要用平滑方法处理低频词与零命中情形,书中示例即采用平滑来”提高评估准确性”。最终分数落在 0 到 1 之间,1 表示完全一致,示例中生成文本与参考完全相同时得分为 1.0,改写后的中文长文本得分为 0.85。
边界同样明显:BLEU 只看字面,不判断语义。同义替换、语序调整、合理的意译都会让重合度下降,分数随之变低,尽管生成质量未必变差;反过来,堆砌参考中出现过的常见片段也可能拿到不低的分数。因此它适合做快速、可批量复现的对照指标,不宜单独作为质量判据,通常与 [[ROUGE用召回率衡量内容覆盖]] 和 [[困惑度是交叉熵损失取指数]] 一起看。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- GPT模型文本生成核心原理与实现 · 查看原书依据
BLEU主要用于评估生成文本与参考文本之间的匹配程度,通过对n-gram的重合度进行计算,衡量生成文本的精确性。ROUGE则更注重召回率,适合评估摘要生成等任务中的文本覆盖度。此外,困惑度是一种统计性度量,用于衡量模型生成文本的连贯性。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第2章《GPT模型文本生成核心原理与实现》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter006_0003.xhtml)
- 结论依据:原文称 BLEU"通过对n-gram的重合度进行计算,衡量生成文本的精确性",并在代码解析中提到用平滑方法处理低频词,示例给出 1.0 与 0.85 两种结果。
- 原始内容:BLEU主要用于评估生成文本与参考文本之间的匹配程度,通过对n-gram的重合度进行计算,衡量生成文本的精确性。ROUGE则更注重召回率,适合评估摘要生成等任务中的文本覆盖度。此外,困惑度是一种统计性度量,用于衡量模型生成文本的连贯性。