原书出处
智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)
04 第4章 搜索系统框架及原理
待索引建立等后续处理;另一方面将下载页面的URL放到已经抓取的URL队列中,对已经爬取的页面进行记录,可以防止重复爬取。
对于刚下载的网页,抽取其中的URL链接,并检查已抓取的URL队列,将没有抓取过的URL放入待抓取URL队列中,不断循环上述步骤直至待抓取的URL队列为空
,即爬虫系统完成一轮完整的爬取流程。 图4-3 爬虫框架 该框架适用于绝大多数的爬虫系统,但不能代表全部。根据应用场景的
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0059.html
EPUB SHA-256:7c59ad7c208225d5ad9ff8ebac84642c693438b69bb9a48fad164b9dfb1eb976