知识卡片
数据流把职责串成闭环
请求经下载器成为响应,分析器输出新请求和条目;新请求回到下载阶段,条目经过处理管道。调度器负责搬运与生命周期,让处理模块只负责输入到输出的转换。图6-1与6-2说明数据流和控制关系不同:模块不用自行维护彼此实例,却必须约定数据与资源交接。
结构图:
flowchart LR
Q[请求] --> D[下载器]
D --> R[响应]
R --> A[分析器]
A --> Q
A --> I[条目]
I --> P[条目处理管道]
P --> S[目标存储]
C[调度器] -. 协调数据与生命周期 .-> D
C -. 协调 .-> A
C -. 协调 .-> P
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
它们与前面已经提到过的网络内容(或称对请求的响应)共同描述了数据在网络爬虫程序中的流转方式。图6-1演示了起始于首次请求的数据流程图。
参考来源
- 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[2523,2590))
- 结论依据:原文三阶段需求、职责列表与两幅已查看图共同说明反馈闭环和调度中心。
- 原始内容:它们与前面已经提到过的网络内容(或称对请求的响应)共同描述了数据在网络爬虫程序中的流转方式。图6-1演示了起始于首次请求的数据流程图。