知识卡片

普通读书笔记卡 · 8428.b.3 · 生成模型:未记录

指标最优未必合意

理解等级:中级

目标函数是对真实意图的形式表达,可能遗漏环境因素或约束。算法优化表达出来的指标,而非自动领会人的目的。奖励黑客在规则内取巧,Wireheading绕过必要任务直接取奖。设计时应检查高分行为是否仍符合实际目的,并考虑环境变化后的遗漏。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 概述 学习系统的特有薄弱环节 · 查看原书依据

      目标函数或奖励函数描述的不完备性问题 在机器学习中,往往把学习问题描述为对一个目标函数的优化,而算法的设计者对目标函数的描述和具体的实现难以真正体现其想要达到的目标。原因是设计者对优化目标的描述有误或者不完善,从而使算法在对所给出的目标函数

    参考来源

    - 位置:《人工智能安全》概述,学习系统的特有薄弱环节(源项目a19c7933-4eda-4176-aebd-30fe7e1ad292,源文件:extracted/人工智能安全/_epub-src/EPUB/xhtml/Section0001_0004.xhtml) - 结论依据:原文对该概念的说明、比较或案例支撑本卡解释;书中历史数据与技术预测保留原有时点,不当作当前已验证结论。 - 原始内容:目标函数或奖励函数描述的不完备性问题 在机器学习中,往往把学习问题描述为对一个目标函数的优化,而算法的设计者对目标函数的描述和具体的实现难以真正体现其想要达到的目标。原因是设计者对优化目标的描述有误或者不完善,从而使算法在对所给出的目标函数