知识卡片
BLEU的精确率与短句惩罚
算法:统计候选译文中有多少个 n 元语法出现在参考译文中,除以候选的 n 元语法总数,得到各阶精确率 p_n(实践中取到 4-gram),几何平均后乘短句惩罚:
BLEU = BP · exp(Σ_{n=1}^{N} w_n · log p_n),BP = 1(c>r)或 exp(1−r/c)(c≤r)
其中 c 是候选长度、r 是参考长度、w_n 是各阶权重。BP 的作用是防止模型靠输出少数几个高频词刷精确率。得分 0 到 1,越高越好。
假设:好的译文会与人工参考共享词序列。失效边界:只认字符串匹配,语序改了、同义词换了、合理改述都扣分;1-gram 完全无视语序,4-gram 只看局部;强依赖参考的数量与风格(参考越多分越高)。所以它适合做训练中的模型选择与流畅度的间接指标,不适合做最终质量裁判;想补语义,要换 METEOR 或 COMET。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 评测生成式大模型 · 查看原书依据
BLEU是一种基于参考的指标,它将模型输出与人工参考文本进行比较,最初的开发目的是捕获或者说自动化人类评测的本质
参考来源
- 位置:《大模型技术30讲》第19讲 评测生成式大模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0025.xhtml)
- 结论依据:19.1.2 节与图19-1:说明 BLEU 基于精确率统计 n 元语法重叠、含短句惩罚、取值 0–1,并列出其忽略语序与同义词、与人工相关性被后续研究否证等缺陷。
- 原始内容:BLEU是一种基于参考的指标,它将模型输出与人工参考文本进行比较,最初的开发目的是捕获或者说自动化人类评测的本质