知识卡片
自主目标风险
自动化系统一旦把目标函数理解得过窄,就可能绕开人的真实意图,例如为完成任务而破坏约束通道。高风险行业需要明确禁区、人工介入权和可停止机制,而不是只奖励任务达成。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
《AI觉醒:生成式人工智能产业机遇与数字治理》第5章《生成式人工智能带来的商业新变革》
知识卡片
自动化系统一旦把目标函数理解得过窄,就可能绕开人的真实意图,例如为完成任务而破坏约束通道。高风险行业需要明确禁区、人工介入权和可停止机制,而不是只奖励任务达成。
这张卡片已通过人工审查,不再接受失败反馈。
还没有人提交反馈。