← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9812.d · 生成模型:DeepSeek-V4.1-Flash

爬虫的四种类型与三条质量线

理解等级:初级

按抓取范围与停止条件,爬虫分四类:

类型 范围 停止条件
通用型 全网 长期运行,服务大型搜索引擎
批量型 预设目标与范围 达目标即停
增量型 有变化的网页(新增/修改/删除) 持续响应更新
垂直型 特定主题或行业 持续,难点是判定页面是否属于该主题

衡量抓得好不好看三条线:覆盖率是已抓网页数占全网总数的比例;时效性是对修改、删除的反应速度,过期页面越早更新越好;重要性直接影响搜索准确率——抓到一堆低质页面,覆盖率再高也没用。

对爬虫自身的要求则是高性能(以每秒下载页面数计)、健壮(服务器宕机重启后能恢复已抓内容与数据结构)、友好。友好性有两个抓手:根目录的 robots.txt 声明哪些目录禁抓,页面里的 meta robots 用 noindex 表示不要索引内容、nofollow 表示不要顺着链接继续抓。忽略这些约束既侵犯网站意愿,也会给对方带来无谓负载。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 搜索系统框架及原理 · 查看原书依据

      评估爬虫的质量标准一般有三个:抓取网页的覆盖率、抓取网页的时效性和抓取网页的重要性。1)覆盖率,是指抓取网页的数量占互联网内网页总数量的比例,比例越高,覆盖率越高。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0059.html) - 结论依据:原文明确列出三项质量标准并给出覆盖率的定义,支撑「覆盖率只是其中一条、还要看时效与重要性」的判断。 - 原始内容:评估爬虫的质量标准一般有三个:抓取网页的覆盖率、抓取网页的时效性和抓取网页的重要性。1)覆盖率,是指抓取网页的数量占互联网内网页总数量的比例,比例越高,覆盖率越高。