知识卡片
爬虫的四种类型与三条质量线
按抓取范围与停止条件,爬虫分四类:
| 类型 | 范围 | 停止条件 |
|---|---|---|
| 通用型 | 全网 | 长期运行,服务大型搜索引擎 |
| 批量型 | 预设目标与范围 | 达目标即停 |
| 增量型 | 有变化的网页(新增/修改/删除) | 持续响应更新 |
| 垂直型 | 特定主题或行业 | 持续,难点是判定页面是否属于该主题 |
衡量抓得好不好看三条线:覆盖率是已抓网页数占全网总数的比例;时效性是对修改、删除的反应速度,过期页面越早更新越好;重要性直接影响搜索准确率——抓到一堆低质页面,覆盖率再高也没用。
对爬虫自身的要求则是高性能(以每秒下载页面数计)、健壮(服务器宕机重启后能恢复已抓内容与数据结构)、友好。友好性有两个抓手:根目录的 robots.txt 声明哪些目录禁抓,页面里的 meta robots 用 noindex 表示不要索引内容、nofollow 表示不要顺着链接继续抓。忽略这些约束既侵犯网站意愿,也会给对方带来无谓负载。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 搜索系统框架及原理 · 查看原书依据
评估爬虫的质量标准一般有三个:抓取网页的覆盖率、抓取网页的时效性和抓取网页的重要性。1)覆盖率,是指抓取网页的数量占互联网内网页总数量的比例,比例越高,覆盖率越高。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0059.html)
- 结论依据:原文明确列出三项质量标准并给出覆盖率的定义,支撑「覆盖率只是其中一条、还要看时效与重要性」的判断。
- 原始内容:评估爬虫的质量标准一般有三个:抓取网页的覆盖率、抓取网页的时效性和抓取网页的重要性。1)覆盖率,是指抓取网页的数量占互联网内网页总数量的比例,比例越高,覆盖率越高。