知识卡片

普通读书笔记卡 · 9812.e · 生成模型:DeepSeek-V4.1-Flash

待抓URL的三种排序策略

理解等级:中级

队列里先抓谁,直接决定有限的抓取预算换回什么质量的页面。三种典型策略:

  1. 宽度优先:新页面里的链接直接追加到队尾。它没有显式考虑重要性,但实测效果好——被大量链入的页面会更早被发现,而链入多的页面往往质量也高。
  2. 非完全 PageRank:PageRank 是全局链接分析算法,而爬虫手里的只是全网的一个局部子集,直接用全局公式算出的分数并不可靠。可行的做法是把已下载页面与待抓 URL 合起来构成一个集合,在这个集合内部计算 PageRank,再按其结果排序抓取。
  3. 大站优先:以站点为单位衡量重要性,认为知名大站整体质量更高,优先抓取。

三者的分野在于「重要性信号从哪来」:宽度优先用链接结构隐式投票,非完全 PageRank 用局部链接图显式打分,大站优先用站点信誉做粗粒度替代。前两者在站内链接稀疏时失效,后者会牺牲长尾小站的覆盖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0059.html) - 结论依据:原文说明全局 PageRank 在局部抓取场景不可靠,因而退化为在已下载集合内计算,这是该策略「近似而非精确」的核心依据。 - 原始内容:将已经下载的网页和待抓取的URL集中起来形成网页集合,在该集合内计算Pagerank,计算完成后,按照结果对待抓取的URL排序,然后依次抓取。