← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9691.c · 生成模型:DeepSeek-V4.1-Flash

REALM 的索引刷新代价

理解等级:高级

REALM 的真正瓶颈不在模型,而在索引。

检索靠 MIPS:最大内积搜索及其近似版本能在数十亿向量中找最近邻,时间与存储随文档数线性增长,并允许少量错误——召回“高分文档”而非精确最高分。

索引会过期:检索器参数每步都在变,文档向量却是旧的。严格做法是每次更新后重嵌整个维基百科,成本无法承受。REALM 采用异步刷新:大约每 100 个批次重算一次,中间允许索引略微滞后。

权衡:刷新频率是超参数,取决于算力和可接受的新鲜度;刷得太慢,检索器学到的空间与索引不一致,训练信号会被旧向量拖偏。另一个隐患是 top-k 截断:当相关文档的分布很平坦,少数几篇不足以代表全库,近似就会失真。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 检索增强型语言模型 · 查看原书依据

      为了减小每个批次之后刷新索引的成本,Jégou等讨论了REALM采用的一个技巧,即每隔100个批次左右重新计算并重新嵌入所有维基百科。在这些异步刷新之间,允许索引变得稍微过时,但不会明显过时。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「为了减小每个批次之后刷新索引的成本,Jégou等讨论了REALM采用…」为中心展开,本卡的核心判断「REALM 的真正瓶颈不在模型,而在索引。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:为了减小每个批次之后刷新索引的成本,Jégou等讨论了REALM采用的一个技巧,即每隔100个批次左右重新计算并重新嵌入所有维基百科。在这些异步刷新之间,允许索引变得稍微过时,但不会明显过时。