知识卡片
爬虫就是遍历网页图
网页靠超链接连成一张有向图,所以抓取网页本质上是图遍历:先给一批种子地址,再沿链接按深度优先或广度优先往外扩,直到覆盖整张图。两个目标互相拉扯——要“全”就得走到每个角落,要“快”就得并发抓取、不把时间耗在重复路径上。因此必须记录已经抓过的地址,否则同一页面会被反复抓取:既浪费带宽与存储,也会让遍历在环路里打转,而网页之间互相链接成环是常态。地址级判重只能解决“同一个网址被抓两次”,同一份内容换个网址出现则是另一回事,需要按内容本身判重。去重表本身也很大,判断“是否抓过”的速度直接决定爬虫能跑多快。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 搜索引擎是什么玩意儿 · 查看原书依据
还记得前面说过整个网络因为链接构成了一个图,既然是一个图,遍历图的方法就有两种:深度遍历和广度遍历。所以爬虫一般的工作方式就是,首先给定一些初始链接种子,然后对这些链接进行深度或者广度遍历来获得更多的链接,直到把整个网络都爬取下来。这里有个问题需要注意,就是不要反复再去抓取已经抓取过的链接。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第6章 搜索引擎是什么玩意儿(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00013.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「还记得前面说过整个网络因为链接构成了一个图,既然是一个图,遍历图的方法就有两种:……」
- 原始内容:还记得前面说过整个网络因为链接构成了一个图,既然是一个图,遍历图的方法就有两种:深度遍历和广度遍历。所以爬虫一般的工作方式就是,首先给定一些初始链接种子,然后对这些链接进行深度或者广度遍历来获得更多的链接,直到把整个网络都爬取下来。这里有个问题需要注意,就是不要反复再去抓取已经抓取过的链接。