知识卡片

结构图卡 · 5619.f.16.b.3

数据流把职责串成闭环

理解等级:中级

请求经下载器成为响应,分析器输出新请求和条目;新请求回到下载阶段,条目经过处理管道。调度器负责搬运与生命周期,让处理模块只负责输入到输出的转换。图6-1与6-2说明数据流和控制关系不同:模块不用自行维护彼此实例,却必须约定数据与资源交接。

结构图:

flowchart LR
  Q[请求] --> D[下载器]
  D --> R[响应]
  R --> A[分析器]
  A --> Q
  A --> I[条目]
  I --> P[条目处理管道]
  P --> S[目标存储]
  C[调度器] -. 协调数据与生命周期 .-> D
  C -. 协调 .-> A
  C -. 协调 .-> P
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      它们与前面已经提到过的网络内容(或称对请求的响应)共同描述了数据在网络爬虫程序中的流转方式。图6-1演示了起始于首次请求的数据流程图。

    参考来源

    - 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[2523,2590)) - 结论依据:原文三阶段需求、职责列表与两幅已查看图共同说明反馈闭环和调度中心。 - 原始内容:它们与前面已经提到过的网络内容(或称对请求的响应)共同描述了数据在网络爬虫程序中的流转方式。图6-1演示了起始于首次请求的数据流程图。