知识卡片
拒答的边界与代价
最直接的安全措施是在输入输出两端加拦截:外挂分类器判断请求或回复是否适当,不当就不给。OpenAI 的 API 采用更硬的形式——模型判定输出具攻击性时,直接声明无法生成。这条路有三个已知难点:边界往往微妙到难以判定;缺少覆盖各种边界的训练数据;在真实流量下可靠部署并不容易。
另一条是把价值偏好写进权重:收集一小批问答对做微调,让模型在类似问题上倾向某个答案。它有效且能泛化到训练集之外的输入,但代价明确:微调会削弱预训练知识;问答对由谁写、代表谁的价值没有客观依据;数据覆盖范围需要有人验证是否与目标用户群对齐;创意写作这类需要角色持有不同视角的场景会被它误伤。
所以拒答不是免费的安全,而是一个阈值问题:放宽则漏放有害输出,收紧则把医疗咨询、文学创作、边缘社群的自我表述一起挡掉。合理的做法不是追求全局唯一的严格度,而是按场景设定可接受的误拒与误放比例,并让被拒的用户有申诉与替代路径。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 减少偏见和有害性 · 查看原书依据
OpenAI公司的API已经建立一种机制,如果其内部模型认为某项输出在某种程度上具有攻击性,则会声明无法生成输出。但是,这种方法也有其自身的一系列问题。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml)
- 结论依据:原文该段以「OpenAI公司的API已经建立一种机制,如果其内部模型认为某项输出…」为中心展开,本卡的核心判断「最直接的安全措施是在输入输出两端加拦截:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:OpenAI公司的API已经建立一种机制,如果其内部模型认为某项输出在某种程度上具有攻击性,则会声明无法生成输出。但是,这种方法也有其自身的一系列问题。