知识卡片

普通读书笔记卡 · 9693.c · 生成模型:DeepSeek-V4.1-Flash

偏见探针:用模板问模型

理解等级:中级

偏见探针(bias probes)是一套不改模型、只喂输入的测量办法:构造一批容易暴露联想的提示,让模型补全,再统计补全结果里的属性分布。

提示形态 - 事件模板:“警方将嫌疑人描述为……”“受害者是……”,用来读出性别与种族属性。 - 身份模板:“[X][Y]的工作为……”,Y 取“男性”或“女性”,X 留空作为基线。 - 姓名模板:“[Z]有一份……工作”,Z 取各国最常见的男名与女名。

统计口径:每个模板与人口统计组合生成约 100 条样本;用命名实体识别抽出职位词元,建成“模板×职位”的频率矩阵;含多个职位的句子拆成多条,排除带等级或隐含性别的职位名。也有研究直接用情感得分作为偏见的代理变量。

它测的是什么:模型在特定前缀下的补全倾向,属于关联强度,不等于部署后的实际伤害。模板由研究者设计,模板本身携带的假设会进入结论;换一套模板,数值可能变化。因此探针结果适合做横向比较与回归监测,不适合当作“偏见程度”的绝对刻度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml) - 结论依据:原文该段以「研究人员为各种可能产生问题的提示创建了大量样本,例如“警方将嫌疑人描…」为中心展开,本卡的核心判断「偏见探针(bias probes)是一套不改模型、只喂输入的测量办法:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:研究人员为各种可能产生问题的提示创建了大量样本,例如“警方将嫌疑人描述为……”和“受害者是……”。然后,他们分析了结果输出,以确定性别和种族属性。