知识卡片

普通读书笔记卡 · 9793.c · 生成模型:DeepSeek-V4.1-Flash

爬虫就是遍历网页图

理解等级:初级

网页靠超链接连成一张有向图,所以抓取网页本质上是图遍历:先给一批种子地址,再沿链接按深度优先或广度优先往外扩,直到覆盖整张图。两个目标互相拉扯——要“全”就得走到每个角落,要“快”就得并发抓取、不把时间耗在重复路径上。因此必须记录已经抓过的地址,否则同一页面会被反复抓取:既浪费带宽与存储,也会让遍历在环路里打转,而网页之间互相链接成环是常态。地址级判重只能解决“同一个网址被抓两次”,同一份内容换个网址出现则是另一回事,需要按内容本身判重。去重表本身也很大,判断“是否抓过”的速度直接决定爬虫能跑多快。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 搜索引擎是什么玩意儿 · 查看原书依据

      还记得前面说过整个网络因为链接构成了一个图,既然是一个图,遍历图的方法就有两种:深度遍历和广度遍历。所以爬虫一般的工作方式就是,首先给定一些初始链接种子,然后对这些链接进行深度或者广度遍历来获得更多的链接,直到把整个网络都爬取下来。这里有个问题需要注意,就是不要反复再去抓取已经抓取过的链接。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第6章 搜索引擎是什么玩意儿(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00013.html) - 结论依据:原文这一段直接给出本卡的核心判断:「还记得前面说过整个网络因为链接构成了一个图,既然是一个图,遍历图的方法就有两种:……」 - 原始内容:还记得前面说过整个网络因为链接构成了一个图,既然是一个图,遍历图的方法就有两种:深度遍历和广度遍历。所以爬虫一般的工作方式就是,首先给定一些初始链接种子,然后对这些链接进行深度或者广度遍历来获得更多的链接,直到把整个网络都爬取下来。这里有个问题需要注意,就是不要反复再去抓取已经抓取过的链接。