知识卡片

普通读书笔记卡 · 5619.f.16.h

分阶段并行不同于阶段内并行

理解等级:中级

download、analyze、pick各启动一个长期循环,使下载、分析与存储阶段能够重叠。但所示download循环同步调用downloadOne,再处理下一请求,所以多个下载器实例不自动形成同时下载多个请求的工作池。需要阶段内并行时应显式规定worker数量、队列与退出协议,而非从组件实例数推断。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      调度器的download 方法只负责不断地获得请求,而downloadOne 方法则负责获得一个下载器,并让它处理某个请求。这两个方法的分工还是比较明确的。

    参考来源

    - 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[59942,60020)) - 结论依据:原文download的单G for循环直接调用同步downloadOne,可核验阶段间流水与阶段内工作者数量的区别。 - 原始内容:调度器的download 方法只负责不断地获得请求,而downloadOne 方法则负责获得一个下载器,并让它处理某个请求。这两个方法的分工还是比较明确的。