知识卡片
轮询分发不是负载感知调度
按(batch−1)对目标数取余只保证提交顺序轮换,不观察目标队列、健康或不同批次成本。某节点慢时仍可积压,目标表为空还无法取余。书中记录可用地址并不等于实时发现健康;需要按实际任务时长和失败情况另定容量、背压与重分配策略。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.2 分批爬取URL · 查看原书依据
self._targets[(self._batch-1) % len(self._targets)]
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元007;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。
- 结论依据:原文直接以批次计数取模选目标,代码没有读取负载或健康结果,支持轮询与负载均衡区别。未在本机运行示例或改变环境。
- 原始内容:ls: return target = self._targets[(self._batch-1) % len(self._targets)] data = [ ("project", self._project), ("spider", spider.name), ("setting", "FEED_URI=