知识卡片
超时取舍须基于请求分布
DOWNLOAD_TIMEOUT限制等待,过长会让失联请求占用资源,过短又会误伤正常慢响应并增加失败或重试。16并发全都等待180秒才超时时,约每分钟5次是特殊情形估算,不是默认下载速度。原书10秒是建议值而非普遍最佳值,还要核对处理器支持及业务可接受的错误与延迟。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 配置与管理 7.2.2 性能 · 查看原书依据
下载的速度大约为5页/分钟
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。
- 结论依据:原文16请求全等180秒才有约5次/分,是特殊超时模型,支持资源占用取舍而非默认速度,10秒建议也非普遍最优。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html。未在本机运行示例或改变环境。
- 原始内容:偏高(当并发请求数为16时,这意味着站点下载的速度大约为5页/分钟)。建议降低该值,比如当存在超时问题时,将其降低为10秒。默认情况下,Scrapy将两次下载间的延迟设置为0,以最大化抓取速度。可以使用 DOWNLOAD_DELAY 设