知识卡片
有效性与社会文化适宜性
有效性(effectiveness)指 ML 产品真正达成目标、且出于对的理由,这是负责任部署的关键。Cathy O’Neil《Weapons of Math Destruction》警示 ML 常是自我实现的预言:招聘算法自动刷掉候选人,可能只是正确预测了谁不容易被录用,而非谁会是好员工,被拒者从没得到工作机会,我们永远不知道其真实表现(系统性缺失数据);若多家雇主用同类算法,此人长期失业本身又成为新的拒聘特征,标签被当结论坐实,即使有人类监督也常照单全收。这引出外部效度(external validity):驱动算法的结论要能推广到真实世界概念;美国《Algorithmic Justice and Online Platform Transparency Act of 2021》提案要求算法有能力产生其预期结果,正相近于有效性与外部效度要求。相关概念还有:鲁棒性(抵御可预见的攻击与滥用)、验证过的性能(新人群、新情境、长时间部署都要复检)、逻辑(发现人看不到的模式若通不过常识嗅觉测试就该追问)。社会文化适宜性则问技术用在社会情境中是否得体:是否所有观察者或决策者角色都适合机器?由算法告知绝症、让 ML 照看孩子,人们拒绝常是出于人的尊严与社会尊重,而非单纯安全考量,能自动化得好不代表互动时让人觉得被尊重。Twitter 一项 Responsible AI 研究最终认为,让照片裁剪功能公平的最好办法是移除该功能而非打磨它,以保护发帖者的自主性;有时最好的解,就是删掉一个技术方案。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Fairness, Privacy, and Ethical ML Systems · 查看原书依据
Yet, as highlighted quite famously by Cathy O’Neil’s Weapons of Math Destruction (Crown, 2016), a particularly worrying element of ML is that in many deployment scenarios, ML can be a self-fulfilling prophecy: ML might appear to work, but this could be for entirely wrong reasons. Consider, as O’Neil did, ML products for hiring purposes, in which candidates can be flagged to be rejected automatically.