知识卡片

普通读书笔记卡 · 9691.h · 生成模型:DeepSeek-V4.1-Flash

ColBERT:后期交互检索

理解等级:中级

ColBERT 要解决检索里的一个两难。

双塔太粗:查询和文档各压成一个向量再算相似度,快,但细粒度信息在池化时丢了。 全交互太贵:把查询和文档拼起来过 BERT,每对词都交互,准,但数十亿文档无法离线预计算。

做法:前 n−1 层让查询和文档各自独立编码,文档向量可以全部预计算并建索引;只在最后一层做延迟交互——查询的每个词元与文档所有词元算相似度,取最大值,再对查询侧求和(MaxSim)。

代价与收益:每个词元都要存一个向量,索引显著膨胀;换来的是可用向量索引直接在上百万文档上做端到端检索,且对剪枝友好。它证明了细粒度交互不必在每一层发生,这是后期交互类模型的基本假设。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「ColBERT模型引入了一种后期交互架构,该架构利用BERT模型分别…」为中心展开,本卡的核心判断「ColBERT 要解决检索里的一个两难。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:ColBERT模型引入了一种后期交互架构,该架构利用BERT模型分别对查询和文档进行编码,然后应用一个功能强大但成本低廉的交互步骤,对它们的细粒度相似性进行建模。