知识卡片
待抓URL的三种排序策略
队列里先抓谁,直接决定有限的抓取预算换回什么质量的页面。三种典型策略:
- 宽度优先:新页面里的链接直接追加到队尾。它没有显式考虑重要性,但实测效果好——被大量链入的页面会更早被发现,而链入多的页面往往质量也高。
- 非完全 PageRank:PageRank 是全局链接分析算法,而爬虫手里的只是全网的一个局部子集,直接用全局公式算出的分数并不可靠。可行的做法是把已下载页面与待抓 URL 合起来构成一个集合,在这个集合内部计算 PageRank,再按其结果排序抓取。
- 大站优先:以站点为单位衡量重要性,认为知名大站整体质量更高,优先抓取。
三者的分野在于「重要性信号从哪来」:宽度优先用链接结构隐式投票,非完全 PageRank 用局部链接图显式打分,大站优先用站点信誉做粗粒度替代。前两者在站内链接稀疏时失效,后者会牺牲长尾小站的覆盖。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 搜索系统框架及原理 · 查看原书依据
将已经下载的网页和待抓取的URL集中起来形成网页集合,在该集合内计算Pagerank,计算完成后,按照结果对待抓取的URL排序,然后依次抓取。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0059.html)
- 结论依据:原文说明全局 PageRank 在局部抓取场景不可靠,因而退化为在已下载集合内计算,这是该策略「近似而非精确」的核心依据。
- 原始内容:将已经下载的网页和待抓取的URL集中起来形成网页集合,在该集合内计算Pagerank,计算完成后,按照结果对待抓取的URL排序,然后依次抓取。