知识卡片
表面形式竞争与 PMI 校准
问题:模型给的是“字符串”的概率,不是“概念”的概率。问“学新语言最好的方法”,选项有“上课”“看电视”“打游戏”“睡觉”;模型可能把大量概率分给“跟辅导老师学”“用语言学习软件”这些同样正确但没列出的说法。同义表面形式互相争抢概率,正确选项“上课”的得分被压低,越啰嗦的答案越吃亏。
PMI 评分:逐点互信息衡量“在给定前提下看到某个假设的可能性”,用假设单独出现的概率做归一,抵消“某些说法天生更常见”的影响。直接概率适合排序,但不适合跨表面形式比较。
领域条件 PMI:估计 P(y) 时模型并没有被训练成无条件下估计文档概率,于是用一个短的“领域前提” x 代替,例如用 x=“because” 并除以 P(y | because),从而近似 P(y | domain)。
通道模型:反过来算 P(输入 | 标签) 而非 P(标签 | 输入),借用机器翻译里噪声通道的思路,让“标签词能否解释输入”成为评分依据。
要点:评分函数的选择取决于你要比较的是“同一概念的多种说法”,还是“不同概念的候选”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 上下文学习和轻量级微调 · 查看原书依据
Talmor et al(2018)认为,由于存在表面形式竞争,直接概率并不适合作为零样本的评分函数。为了解决这个问题,他们建议使用逐点互信息(Pointwise Mutual Information,PMI)来计算特定表面形式的概率。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第5章《上下文学习和轻量级微调》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml)
- 结论依据:原文该段以「Talmor et al(2018)认为,由于存在表面形式竞争,直接…」为中心展开,本卡的核心判断「问题:模型给的是“字符串”的概率,不是“概念”的概率。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Talmor et al(2018)认为,由于存在表面形式竞争,直接概率并不适合作为零样本的评分函数。为了解决这个问题,他们建议使用逐点互信息(Pointwise Mutual Information,PMI)来计算特定表面形式的概率。