知识卡片
记忆配置要共享上下文总预算
历史消息、检索资料、工具定义与任务指令共享有限输入空间,并需按接口要求预留输出。长期存储可以保留溢出信息,但只有被再次检索进来的内容才能供当前模型使用。需要明确哪些信息常驻、何时转存及如何找回。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · RAG与智能体
原书出处 · 1 处
- · 查看原书依据
输入模型的上下文包括短期记忆以及从长期记忆中检索到的信息。因此,一个模型的短期记忆容量取决于上下文中有多少空间需要分配给从长期记忆中检索到的信息。例如,若预留了30%的上下文空间给检索内容,那么模型最多只能使用上下文限制的70%作为短期记忆。当达到这
参考来源
- 位置:《AI工程:大模型应用开发实战》第6章《RAG与智能体》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section014.xhtml)
- 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。
- 原始内容:输入模型的上下文包括短期记忆以及从长期记忆中检索到的信息。因此,一个模型的短期记忆容量取决于上下文中有多少空间需要分配给从长期记忆中检索到的信息。例如,若预留了30%的上下文空间给检索内容,那么模型最多只能使用上下文限制的70%作为短期记忆。当达到这