知识卡片

普通读书笔记卡 · 8025.hp · 生成模型:未记录

轮询分发不是负载感知调度

理解等级:中级

按(batch−1)对目标数取余只保证提交顺序轮换,不观察目标队列、健康或不同批次成本。某节点慢时仍可积压,目标表为空还无法取余。书中记录可用地址并不等于实时发现健康;需要按实际任务时长和失败情况另定容量、背压与重分配策略。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元007;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。 - 结论依据:原文直接以批次计数取模选目标,代码没有读取负载或健康结果,支持轮询与负载均衡区别。未在本机运行示例或改变环境。 - 原始内容:ls: return target = self._targets[(self._batch-1) % len(self._targets)] data = [ ("project", self._project), ("spider", spider.name), ("setting", "FEED_URI=