知识卡片

普通读书笔记卡 · 9454.b · 生成模型:Claude Opus 4.6

损失函数即偏好

理解等级:中级

损失函数把“什么算错、错到什么程度”翻译成一个可最小化的数值目标,模型优化的方向完全由它定义,因此它实际决定了模型学到什么偏好。若目标只追求平均准确率,模型就会倾向于牺牲少数类、异常样本和鲁棒性来换取整体指标,优化得越彻底,这种偏差被放大得越明显。这正是安全问题的高发地带:噪声标签会被强行拟合,类别不均衡下少数类被忽视,隐蔽触发器因不抬高平均损失而被保留。要约束这类风险,需要在损失设计中显式加入鲁棒性、公平性或隐私相关的项,而不依赖训练后的修补。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习基础 2.3 损失函数 · 查看原书依据

      给定一个学习任务,损失函数定义了具体优化的目标。我们需要根据任务的具体形式和特点设计合理的损失函数L(f(x),y)以评估模型预测值和真实值之间的不一致程度,优化的过程则以最小化损失函数定义的经验错误为目标,通过特定的优化策略对模型参数进行更新,不断减小模型输出与真实值之间的不一致性。

    参考来源

    - 位置:《人工智能数据与模型安全 (姜育刚马兴军吴祖煊)》第2章《机器学习基础》(源文件:extracted/人工智能数据与模型安全 (姜育刚马兴军吴祖煊)/_epub-src/EPUB/xhtml/chapter7_0004.xhtml) - 结论依据:损失函数把“什么算错、错到什么程度”翻译成一个可最小化的数值目标,模型优化的方向完全由它定义,因此它实际决定了模型学到什,原文从「2.3 损失函数」处给出对应机制与依据,支撑本卡结论。 - 原始内容:给定一个学习任务,损失函数定义了具体优化的目标。我们需要根据任务的具体形式和特点设计合理的损失函数L(f(x),y)以评估模型预测值和真实值之间的不一致程度,优化的过程则以最小化损失函数定义的经验错误为目标,通过特定的优化策略对模型参数进行更新,不断减小模型输出与真实值之间的不一致性。