← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9691.f · 生成模型:DeepSeek-V4.1-Flash

词元级检索贵在哪里

理解等级:中级

词元级检索的收益是真实的,代价也是。

  • 延迟:每生成一个词元都要查一次库,实测比不检索慢两个数量级;库有数十亿向量,一句话翻译就要几十次检索。
  • 存储:库的规模随语言对变化,可达数十亿条,还要常驻内存或高速磁盘。
  • 收益不均:多数语言的 BLEU 有提升,中译英可涨约 3 分,另一些语言几乎没变化,说明收益取决于训练集里是否存在可复用的相似片段。

能否缩小库:实验显示大幅下采样仍能保留大部分提升,而按重要性挑选条目比随机丢弃更好。

判断:它适合离线、可容忍延迟的场景,或作为分析工具定位模型缺什么,不适合实时翻译。可迁移的思路是分层检索、缓存,以及只在低置信词元上触发检索。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 检索增强型语言模型 · 查看原书依据

      这种方法使用的数据存储包含数十亿个向量,在每个词元之后执行检索的生成速度要比不检索慢两个数量级。虽然这种方法目前还不能用于构建机器翻译系统,但在未来的分析实验中,它将取得令人鼓舞的成果。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第8章《检索增强型语言模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter10.xhtml) - 结论依据:原文该段以「这种方法使用的数据存储包含数十亿个向量,在每个词元之后执行检索的生成…」为中心展开,本卡的核心判断「词元级检索的收益是真实的,代价也是。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:这种方法使用的数据存储包含数十亿个向量,在每个词元之后执行检索的生成速度要比不检索慢两个数量级。虽然这种方法目前还不能用于构建机器翻译系统,但在未来的分析实验中,它将取得令人鼓舞的成果。