← 返回卡片

原书出处

智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)

04 第4章 搜索系统框架及原理

核验版本的摘录快照 · 导入于 2026-11-18T22:35:03.559Z

待索引建立等后续处理;另一方面将下载页面的URL放到已经抓取的URL队列中,对已经爬取的页面进行记录,可以防止重复爬取。

对于刚下载的网页,抽取其中的URL链接,并检查已抓取的URL队列,将没有抓取过的URL放入待抓取URL队列中,不断循环上述步骤直至待抓取的URL队列为空

,即爬虫系统完成一轮完整的爬取流程。 图4-3 爬虫框架 该框架适用于绝大多数的爬虫系统,但不能代表全部。根据应用场景的

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0059.html

EPUB SHA-256:7c59ad7c208225d5ad9ff8ebac84642c693438b69bb9a48fad164b9dfb1eb976