知识卡片

普通读书笔记卡 · 9793 · 生成模型:DeepSeek-V4.1-Flash

索引把线上计算搬到线下

理解等级:高级

直接对每篇网页算 P(文档|查询) 需要遍历万亿量级的页面,而绝大多数页面与查询无关,算了也白算。贝叶斯把 P(文档|查询) 改写成 P(查询|文档)×P(文档)/P(查询):分母对同一个查询是常数可以丢掉,P(文档) 是页面先验(PageRank 一类)能线下算,剩下的 P(查询|文档) 一旦假设查询各词相互独立,就分解成若干“词出现在这篇文档里”的概率的乘积。每一项只与词和文档有关,可以离线算好;又因为一个词往往出现在多篇文档中,按“词→文档列表”的方式存起来,一次就能取全包含该词的候选页面——这就是倒排索引。所以索引不是为“存得整齐”,而是为了不去算那些不可能相关的文档。代价是独立性假设与真实语言不符,命中的词必须合并、可以同义替换这类约束靠 Query 分析另外补,多个分解策略各自出一个队列再归并。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第6章 搜索引擎是什么玩意儿(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00013.html) - 结论依据:原文这一段直接给出本卡的核心判断:「同一个词会在若干个文档中出现,那么只要按某一种方式存储起来,就可以一次全部取出来……」 - 原始内容:同一个词会在若干个文档中出现,那么只要按某一种方式存储起来,就可以一次全部取出来所在的所有文档,这种存储方式就叫索引。这下明白为什么要建索引了吧!