← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 6479.w.8.a.6 · 生成模型:GPT-6

安全评估同时测违规与误拒

理解等级:中级

违规率衡量攻击或不当请求成功触发禁止行为的比例;误拒率衡量本该服务的请求被拒绝的比例。拒绝全部请求可以压低违规率,却失去实用性。评估需同时包含攻击样本、合法样本和边界请求。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      违规率(violation rate)和误拒率(false refusal rate)。违规率衡量攻击成功的比例,而误拒率衡量模型在应当响应时却拒绝请求的频率。这两个指标对于确保系统既安全又不过度保守至关重要。试想,一个拒绝所有请求的系统虽然能实现零

    参考来源

    - 位置:《AI工程:大模型应用开发实战》第5章《提示工程》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section013.xhtml) - 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。 - 原始内容:违规率(violation rate)和误拒率(false refusal rate)。违规率衡量攻击成功的比例,而误拒率衡量模型在应当响应时却拒绝请求的频率。这两个指标对于确保系统既安全又不过度保守至关重要。试想,一个拒绝所有请求的系统虽然能实现零