知识卡片

普通读书笔记卡 · 9693.g · 生成模型:DeepSeek-V4.1-Flash

用诱导提示做生成侧压测

理解等级:中级

分类器测的是“给一段文本判分”,但模型的风险在生成侧:一句平平无奇的开头可能被续写成仇恨内容。RealToxicityPrompts 的做法是准备一批刻意带有诱导性的提示,让模型续写,再统计续写结果的有害比例。

结论有两层。第一,风险不低:在互联网文本上训练的 GPT-2、GPT-3 之类系统,在仅 100 次试验内就有生成有害内容的显著概率。第二,简单的引导手段并不总能压住它,尤其在“补全句子”这种延续既有语境的场景下。

更深的一层是溯源:训练语料本身就有害。用于训练 GPT-2 的文本中,超过 4% 被测出中高有害性,多数系统还是在含大量有害内容、不可靠新闻源或仇恨论坛的数据上训练的。也就是说,有害性不是采样温度造成的偶发事故,而是训练分布的直接后果。

这种做法——主动构造恶意或边缘输入去找模型漏洞——是红队测试(red teaming)的基本形态。它的局限同样明显:提示集是静态的,模型与防护更新后旧集合迅速失效;判分仍依赖 Perspective 一类分类器,度量偏差会原样传进结论。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml) - 结论依据:原文该段以「他们的分析结果表明,在互联网文本上训练的自然语言处理系统(包括GPT…」为中心展开,本卡的核心判断「分类器测的是“给一段文本判分”,但模型的风险在生成侧:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:他们的分析结果表明,在互联网文本上训练的自然语言处理系统(包括GPT-2模型和GPT-3模型)在短短的100次试验中就有产生有害内容的重大风险。