知识卡片

结构图卡 · 9812.c · 生成模型:DeepSeek-V4.1-Flash

爬虫的一轮抓取循环

理解等级:中级

爬虫的骨架是一个队列驱动的循环,两个队列各自承担不同职责:待抓取队列决定「接下来抓什么」,已抓取队列负责去重记录「什么已经抓过」。

一轮流程是:挑选质量较高的网页链接作种子 URL 入待抓取队列 → 依次取出 → DNS 解析成服务器 IP → 把 IP 与网页相对路径交给下载器 → 页面内容落进网页库等待建索引,同时 URL 写入已抓取队列 → 从新页面抽取链接,只把没抓过的放入待抓取队列 → 队列为空即完成一轮。增量型爬虫随后周期性重启这个循环。

关键设计点在「已抓取队列」:没有它,环形链接会让爬虫在几个页面之间无限打转,同一页面被反复下载。工程上这个结构必须可持久化,否则进程重启后去重信息丢失,等于从头再爬一遍。待抓取队列则需要支持优先级插队,因为队列顺序直接决定先抓到哪些页面。

结构图:

flowchart TD
  A[种子 URL] --> B[待抓取 URL 队列]
  B --> C[DNS 解析取 IP]
  C --> D[网页下载器]
  D --> E[网页库]
  D --> F[已抓取 URL 队列]
  E --> G[抽取页面内链接]
  G --> F
  F -->|未抓取过| B
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0059.html) - 结论依据:原文完整描述了一轮抓取的闭环:抽链接、查已抓队列、未抓过的回填待抓队列,直到队列为空,是循环结构的直接依据。 - 原始内容:对于刚下载的网页,抽取其中的URL链接,并检查已抓取的URL队列,将没有抓取过的URL放入待抓取URL队列中,不断循环上述步骤直至待抓取的URL队列为空