知识卡片

普通读书笔记卡 · 8025.ef · 生成模型:未记录

自适应间隔仍受容量约束

理解等级:中级

AutoThrottle按下载延迟反馈调整槽位请求间隔,试图在可控负载下利用吞吐,仍受并发及最小/最大延迟配置影响。它不是直接测得服务器全部负载,也不保证任何站点都达到最优。作者认为偏保守且难调是个人经验,选择前应结合真实响应与错误观察,不能把开启扩展当作已完成性能验证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元017;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。 - 结论依据:原文AutoThrottle使用下载延迟调整,支持反馈节奏而非测出服务器全部负载,保守评价为个人经验不当普遍最优证明。补充核验入口:https://docs.scrapy.org/en/latest/topics/autothrottle.html。未在本机运行示例或改变环境。 - 原始内容:看,我发现它往往有些保守,不容易调整。它使用下载延迟,来了解我们和目标服务器的负载情况,并据此调整下载器的延迟。如果你很难找到 DOWNLOAD_DELAY 的最佳值(默认为0),就会发现该模块很有用。