知识卡片
偏差被模型写成规则
模型学到的是数据里的相关性,不是世界本来的样子,因此数据中的偏差会被继承,还可能因为披上“算法”外衣而显得客观。词向量按分布相似性训练,出现在相似上下文中的词获得相近向量;若关于软件工程师的报道以男性为主,“软件”就会更靠近“男性”一侧的词,所有使用这些向量的下游应用一起继承这个距离。更麻烦的是反馈闭环:用历史再逮捕记录训练假释风险模型,如果当年的逮捕对某些群体更严厉,模型学到的其实是“警察会抓谁”,再用它决定关多久,新产生的记录又被这份判决污染,偏差于是以“预测准确”的名义被固化。缓解手段包括换标签(用实际犯罪而非逮捕)、分组检查错误率、敏感场景避免代理变量,但没有技术能证明偏差已清除,只能持续监测。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第26章 数据伦理 · 查看原书依据
例如,假释模型可以很好地预测哪些释放的犯罪分子会被重新逮捕,但如果这些重新逮捕本身是有偏差的现实世界处理的结果,那么模型可能会使该偏差永远存在。
参考来源
- 位置:《数据科学入门(第2版)》第26章 数据伦理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0030.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「例如,假释模型可以很好地预测哪些释放的犯罪分子会被重新逮捕,但如果这些重新逮捕本……」
- 原始内容:例如,假释模型可以很好地预测哪些释放的犯罪分子会被重新逮捕,但如果这些重新逮捕本身是有偏差的现实世界处理的结果,那么模型可能会使该偏差永远存在。