知识卡片
进程内并发不等于分布式调度
单个爬虫框架并发处理任务,不自动具备多个程序之间的协作。跨实例还需明确指令和数据如何交换,接口可以采用RPC或Web服务,通信方式本身不替代工作与状态协调。原书只列扩展方向,没有实现这些协议,因此不能把本地示例交付宣称成已支持集群运行。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 一个网络爬虫框架的设计和实现 · 查看原书依据
我们编写的网络爬虫框架现在还不能以集群的方式部署和运行。我们现在还并未提供多个使用网络爬虫框架的程序之间的协作机制。当然,网络爬虫框架的使用方可以对该框架进行二次开发并赋予它分布式计算的能力。
参考来源
- 位置:《Go并发编程实战》第09章《一个网络爬虫框架的设计和实现》之《9.9 当前的不足和解决思路》(来源项目book-sources;源文件:extracted/Go并发编程实战/_epub-src/text/part0000_split_071.html)
- 结论依据:原文围绕进程内并发不等于分布式调度给出定义、实例或限制;卡片结合这些上下文解释条件,已知错误在正文就近校正。
- 原始内容:我们编写的网络爬虫框架现在还不能以集群的方式部署和运行。我们现在还并未提供多个使用网络爬虫框架的程序之间的协作机制。当然,网络爬虫框架的使用方可以对该框架进行二次开发并赋予它分布式计算的能力。