知识卡片

普通读书笔记卡 · 9784.b · 生成模型:DeepSeek-V4.1-Flash

坏产品源于没想到滥用

理解等级:中级

多数数据伦理事故不是有人权衡利弊后决定作恶,而是产品做出来了,却没人设想它会被怎么用。Tay 上线几小时就被用户教成发布冒犯性内容的机器人;Google 相册把非裔美国人的照片标成“大猩猩”,更可能源于训练数据覆盖不足与模型错误,而不是任何人的明确决定。这类事故的共同结构是:错误在总体指标上微不足道,在特定输入上后果却极具侮辱性。修复因此分层——在多样化输入上训练和测试能降低概率,却无法保证“没有任何输入会让模型出丑”,因为输入空间无法枚举。Google 最后直接拒绝预测“大猩猩”,那是把失败藏起来而非修好它。可迁移的做法是在设计阶段就问:这个输出最坏会被谁截图、用来伤害谁。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第26章 数据伦理 · 查看原书依据

      在这里,看起来问题可能出在不良的训练数据、模型的不正确,以及错误的严重攻击性上,如果模型偶尔将邮筒归类为消防车,也许没人会那么在意。 在这种情况下,解决方案就不那么明显了:如何确保训练有素的模型不会做出令人反感的预测?

    参考来源

    - 位置:《数据科学入门(第2版)》第26章 数据伦理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0030.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「在这里,看起来问题可能出在不良的训练数据、模型的不正确,以及错误的严重攻击性上,……」 - 原始内容:在这里,看起来问题可能出在不良的训练数据、模型的不正确,以及错误的严重攻击性上,如果模型偶尔将邮筒归类为消防车,也许没人会那么在意。 在这种情况下,解决方案就不那么明显了:如何确保训练有素的模型不会做出令人反感的预测?