知识卡片
系统性偏差与多数暴政
系统性偏差(systemic bias)最难识别也最难缓解:它是一组无法在个案里被指认为解释性特征、却在总体层面明显影响个体结果差异的结构性限制,早已烤进社会、教育与就业系统。AI 无法脱离其被构建的社会语境,不懂语境的 AI 只会加剧它,连把 AI 用到哪些问题本身都可能是系统性偏差的体现:预测弱势群体犯罪的系统被长期积极使用,识别警察不当行为的算法却相对少见。典型例子是把参加课外活动当作有动力、有领导力的常识优点:不加语境地用它(无论人还是算法决策)会奖励有资源参与的中产学生,却惩罚学校不开此类活动、或需打工与承担家庭责任的低收入学生。多数暴政(tyranny of the majority)则源于训练方式:多数类在数量上主导训练损失,若不加干预,模型事实上偏向多数、更直接地压低多数群误差。对应到不均衡数据集(性别、种族、地域、语言等人类多样性失衡),若不为所有类别的性能刻意设目标,模型只会按多数类原型刻画所有人。做法是注入社会语境、为少数类表现把关,代价是需要额外的领域知识与评估投入。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Fairness, Privacy, and Ethical ML Systems · 查看原书依据
AI systems cannot be separated from the societal contexts in which they are built, so AI built without an understanding of context is likely to worsen systemic bias. Indeed, even the particular problems to which AI is applied are often highlighted as themselves manifestations of systemic bias.