知识卡片
爬虫的一轮抓取循环
爬虫的骨架是一个队列驱动的循环,两个队列各自承担不同职责:待抓取队列决定「接下来抓什么」,已抓取队列负责去重记录「什么已经抓过」。
一轮流程是:挑选质量较高的网页链接作种子 URL 入待抓取队列 → 依次取出 → DNS 解析成服务器 IP → 把 IP 与网页相对路径交给下载器 → 页面内容落进网页库等待建索引,同时 URL 写入已抓取队列 → 从新页面抽取链接,只把没抓过的放入待抓取队列 → 队列为空即完成一轮。增量型爬虫随后周期性重启这个循环。
关键设计点在「已抓取队列」:没有它,环形链接会让爬虫在几个页面之间无限打转,同一页面被反复下载。工程上这个结构必须可持久化,否则进程重启后去重信息丢失,等于从头再爬一遍。待抓取队列则需要支持优先级插队,因为队列顺序直接决定先抓到哪些页面。
结构图:
flowchart TD
A[种子 URL] --> B[待抓取 URL 队列]
B --> C[DNS 解析取 IP]
C --> D[网页下载器]
D --> E[网页库]
D --> F[已抓取 URL 队列]
E --> G[抽取页面内链接]
G --> F
F -->|未抓取过| B
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 搜索系统框架及原理 · 查看原书依据
对于刚下载的网页,抽取其中的URL链接,并检查已抓取的URL队列,将没有抓取过的URL放入待抓取URL队列中,不断循环上述步骤直至待抓取的URL队列为空
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0059.html)
- 结论依据:原文完整描述了一轮抓取的闭环:抽链接、查已抓队列、未抓过的回填待抓队列,直到队列为空,是循环结构的直接依据。
- 原始内容:对于刚下载的网页,抽取其中的URL链接,并检查已抓取的URL队列,将没有抓取过的URL放入待抓取URL队列中,不断循环上述步骤直至待抓取的URL队列为空