知识卡片

普通读书笔记卡 · 5619.f.16.b.2.c

范围限制要沿数据流传递

理解等级:中级

首请求depth为0,分析响应后生成子请求,其深度为父请求加一;响应也携带深度,让分析器无需额外拿回原请求。最大深度限制链路长度,域名边界限制扩散范围,二者分工不同。它们仍不独自证明爬取有限:同一深度可有大量不同URL,还需去重、数量预算和真实完成条件。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[6850,6879)) - 结论依据:原文请求/响应深度及RequestArgs域名/深度约束解释数据携带策略,正文限定停止保证。 - 原始内容:一个请求的深度值等于对它的父请求的深度值递增一次后的结果。