知识卡片
范围限制要沿数据流传递
首请求depth为0,分析响应后生成子请求,其深度为父请求加一;响应也携带深度,让分析器无需额外拿回原请求。最大深度限制链路长度,域名边界限制扩散范围,二者分工不同。它们仍不独自证明爬取有限:同一深度可有大量不同URL,还需去重、数量预算和真实完成条件。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
一个请求的深度值等于对它的父请求的深度值递增一次后的结果。
参考来源
- 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[6850,6879))
- 结论依据:原文请求/响应深度及RequestArgs域名/深度约束解释数据携带策略,正文限定停止保证。
- 原始内容:一个请求的深度值等于对它的父请求的深度值递增一次后的结果。