知识卡片
评估从系统失效环节开始
评估的目标是降低风险并发现改进机会。先识别系统可能在哪些环节失效,再为这些失效设计测量;必要时调整系统,让中间步骤、上下文与失败原因可见。没有失效假设,增加指标和工具并不能自动提高系统稳健性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 评估方法论
原书出处 · 1 处
- · 查看原书依据
评估的目标是降低风险并发现机会。为了降低风险,你首先需要确定系统可能失败的环节,并围绕这些环节设计评估方法。这通常需要重新设计系统,以增强对故障的可见性。如果不清楚系统可能会在哪些地方失效,那么再多的评估指标或工具也无法使系统变得稳健。
参考来源
- 位置:《AI工程:大模型应用开发实战》第3章《评估方法论》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section011.xhtml)
- 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。
- 原始内容:评估的目标是降低风险并发现机会。为了降低风险,你首先需要确定系统可能失败的环节,并围绕这些环节设计评估方法。这通常需要重新设计系统,以增强对故障的可见性。如果不清楚系统可能会在哪些地方失效,那么再多的评估指标或工具也无法使系统变得稳健。