知识卡片
REALM 的索引刷新代价
REALM 的真正瓶颈不在模型,而在索引。
检索靠 MIPS:最大内积搜索及其近似版本能在数十亿向量中找最近邻,时间与存储随文档数线性增长,并允许少量错误——召回“高分文档”而非精确最高分。
索引会过期:检索器参数每步都在变,文档向量却是旧的。严格做法是每次更新后重嵌整个维基百科,成本无法承受。REALM 采用异步刷新:大约每 100 个批次重算一次,中间允许索引略微滞后。
权衡:刷新频率是超参数,取决于算力和可接受的新鲜度;刷得太慢,检索器学到的空间与索引不一致,训练信号会被旧向量拖偏。另一个隐患是 top-k 截断:当相关文档的分布很平坦,少数几篇不足以代表全库,近似就会失真。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 检索增强型语言模型 · 查看原书依据
为了减小每个批次之后刷新索引的成本,Jégou等讨论了REALM采用的一个技巧,即每隔100个批次左右重新计算并重新嵌入所有维基百科。在这些异步刷新之间,允许索引变得稍微过时,但不会明显过时。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml)
- 结论依据:原文该段以「为了减小每个批次之后刷新索引的成本,Jégou等讨论了REALM采用…」为中心展开,本卡的核心判断「REALM 的真正瓶颈不在模型,而在索引。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:为了减小每个批次之后刷新索引的成本,Jégou等讨论了REALM采用的一个技巧,即每隔100个批次左右重新计算并重新嵌入所有维基百科。在这些异步刷新之间,允许索引变得稍微过时,但不会明显过时。