知识卡片

普通读书笔记卡 · 9784.e · 生成模型:DeepSeek-V4.1-Flash

偏差被模型写成规则

理解等级:高级

模型学到的是数据里的相关性,不是世界本来的样子,因此数据中的偏差会被继承,还可能因为披上“算法”外衣而显得客观。词向量按分布相似性训练,出现在相似上下文中的词获得相近向量;若关于软件工程师的报道以男性为主,“软件”就会更靠近“男性”一侧的词,所有使用这些向量的下游应用一起继承这个距离。更麻烦的是反馈闭环:用历史再逮捕记录训练假释风险模型,如果当年的逮捕对某些群体更严厉,模型学到的其实是“警察会抓谁”,再用它决定关多久,新产生的记录又被这份判决污染,偏差于是以“预测准确”的名义被固化。缓解手段包括换标签(用实际犯罪而非逮捕)、分组检查错误率、敏感场景避免代理变量,但没有技术能证明偏差已清除,只能持续监测。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第26章 数据伦理 · 查看原书依据

      例如,假释模型可以很好地预测哪些释放的犯罪分子会被重新逮捕,但如果这些重新逮捕本身是有偏差的现实世界处理的结果,那么模型可能会使该偏差永远存在。

    参考来源

    - 位置:《数据科学入门(第2版)》第26章 数据伦理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0030.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「例如,假释模型可以很好地预测哪些释放的犯罪分子会被重新逮捕,但如果这些重新逮捕本……」 - 原始内容:例如,假释模型可以很好地预测哪些释放的犯罪分子会被重新逮捕,但如果这些重新逮捕本身是有偏差的现实世界处理的结果,那么模型可能会使该偏差永远存在。