原书出处
智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)
04 第4章 搜索系统框架及原理
RL进行排序。由于其是一个全局算法,而爬虫下载的网页只是部分,所以由其计算的得分不一定可靠,但我们仍然可以借鉴它的思想:
将已经下载的网页和待抓取的URL集中起来形成网页集合,在该集合内计算Pagerank,计算完成后,按照结果对待抓取的URL排序,然后依次抓取。
3)大站优先策略。以网站为单位衡量网页的重要性,我们认为大站往往是知名企业,其网站质量一般比较高,所以一般优先搜索大站。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0059.html
EPUB SHA-256:7c59ad7c208225d5ad9ff8ebac84642c693438b69bb9a48fad164b9dfb1eb976