知识卡片
远程组件只是分布式起点
把Downloader等接口实现成RPC客户端,并在MID携带远端地址,可让调度器沿原接口调用远程工作者。网络会带来超时、重复执行、部分失败和节点失效,原书四步只给扩展方向,未给出任务持久化、幂等、租约或故障恢复协议。不能把替换传输方式等同于完成可靠分布式爬虫。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
组件的客户端需要实现对应的组件接口,并负责与组件的服务端交互以实现功能。
参考来源
- 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[91437,91473))
- 结论依据:原文分布式扩展按客户端/服务端与接口替换组织,正文明确未展开的可靠性协议。
- 原始内容:组件的客户端需要实现对应的组件接口,并负责与组件的服务端交互以实现功能。