知识卡片

结构图卡 · 5619.f.16.b.2

爬取是带反馈的数据流水线

理解等级:中级

请求经下载器成为响应,分析器产生条目与新请求,条目管道执行后续处理;新请求反馈到下载端,因此不是单向固定长度批处理。每个阶段需明确输入输出及停止条件,还要在反馈入口校验边界和去重,才能避免重复与无限扩展。

结构图:

flowchart LR
A[首次请求] --> B[网页下载器]
B -->|响应| C[分析器]
C -->|新请求:边界和去重| B
C -->|条目| D[条目处理管道]
D --> E[最终数据]

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 一个网络爬虫框架的设计和实现 · 查看原书依据

      框架会反复地执行如下步骤直至触碰到停止条件。 “网页下载器”下载与给定网络地址对应的网页内容。其中,在被用于获取网页内容的“请求”的组装方面,网络爬虫框架应该为使用者尽量预留出定制接口。

    参考来源

    - 位置:《Go并发编程实战》第09章《一个网络爬虫框架的设计和实现》之《9.2 功能需求和分析》(来源项目book-sources;源文件:extracted/Go并发编程实战/_epub-src/text/part0000_split_064.html) - 结论依据:原文围绕爬取是带反馈的数据流水线给出定义、实例或限制;卡片结合这些上下文解释条件,已知错误在正文就近校正。 - 原始内容:框架会反复地执行如下步骤直至触碰到停止条件。 “网页下载器”下载与给定网络地址对应的网页内容。其中,在被用于获取网页内容的“请求”的组装方面,网络爬虫框架应该为使用者尽量预留出定制接口。