知识卡片

普通读书笔记卡 · 9812.f · 生成模型:DeepSeek-V4.1-Flash

网页更新策略:什么时候该重抓

理解等级:高级

网页会变,重抓频率决定索引的新鲜度与带宽开销。三种策略:

  • 历史参考:假设过去更新频繁的页面以后也会频繁,用历史更新间隔预估下次抓取时间。
  • 用户体验:用户主要看排名靠前的结果,过期只要不影响排序与体验就可以晚点更新;判断依据是「内容变化对排序结果的影响有多大」。
  • 聚类抽样:按网页内容、链接深度、PageRank 等属性聚类,同簇共享同一更新周期。

前两种有一个共同软肋:都依赖历史信息,而保存全量历史会加重搜索引擎负担,首次抓取的页面更是压根没有历史。聚类抽样正是为绕开这一点——用静态属性预测更新周期,新页面也能立刻获得一个合理频率。

取舍很清楚:历史参考对成熟站点最准但存储成本高;用户体验策略把「更新」折算成「排序影响」,最省资源但可能让不影响排序的过期内容长期滞留;聚类抽样覆盖面最广,代价是同簇内个体的真实差异被抹平。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0059.html) - 结论依据:原文明指前两种策略的缺陷来源(历史信息存储成本与首抓无历史),正是聚类抽样策略被提出的动机。 - 原始内容:前两种策略都比较依赖网页历史信息,但在现实中,保存历史信息会增加搜索引擎负担,同时首次抓取的网页并不存在历史信息,因此以上两种方法都有缺陷。