知识卡片
用诱导提示做生成侧压测
分类器测的是“给一段文本判分”,但模型的风险在生成侧:一句平平无奇的开头可能被续写成仇恨内容。RealToxicityPrompts 的做法是准备一批刻意带有诱导性的提示,让模型续写,再统计续写结果的有害比例。
结论有两层。第一,风险不低:在互联网文本上训练的 GPT-2、GPT-3 之类系统,在仅 100 次试验内就有生成有害内容的显著概率。第二,简单的引导手段并不总能压住它,尤其在“补全句子”这种延续既有语境的场景下。
更深的一层是溯源:训练语料本身就有害。用于训练 GPT-2 的文本中,超过 4% 被测出中高有害性,多数系统还是在含大量有害内容、不可靠新闻源或仇恨论坛的数据上训练的。也就是说,有害性不是采样温度造成的偶发事故,而是训练分布的直接后果。
这种做法——主动构造恶意或边缘输入去找模型漏洞——是红队测试(red teaming)的基本形态。它的局限同样明显:提示集是静态的,模型与防护更新后旧集合迅速失效;判分仍依赖 Perspective 一类分类器,度量偏差会原样传进结论。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 减少偏见和有害性 · 查看原书依据
他们的分析结果表明,在互联网文本上训练的自然语言处理系统(包括GPT-2模型和GPT-3模型)在短短的100次试验中就有产生有害内容的重大风险。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml)
- 结论依据:原文该段以「他们的分析结果表明,在互联网文本上训练的自然语言处理系统(包括GPT…」为中心展开,本卡的核心判断「分类器测的是“给一段文本判分”,但模型的风险在生成侧:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:他们的分析结果表明,在互联网文本上训练的自然语言处理系统(包括GPT-2模型和GPT-3模型)在短短的100次试验中就有产生有害内容的重大风险。