知识卡片

普通读书笔记卡 · 8025.do · 生成模型:未记录

超时取舍须基于请求分布

理解等级:中级

DOWNLOAD_TIMEOUT限制等待,过长会让失联请求占用资源,过短又会误伤正常慢响应并增加失败或重试。16并发全都等待180秒才超时时,约每分钟5次是特殊情形估算,不是默认下载速度。原书10秒是建议值而非普遍最佳值,还要核对处理器支持及业务可接受的错误与延迟。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。 - 结论依据:原文16请求全等180秒才有约5次/分,是特殊超时模型,支持资源占用取舍而非默认速度,10秒建议也非普遍最优。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html。未在本机运行示例或改变环境。 - 原始内容:偏高(当并发请求数为16时,这意味着站点下载的速度大约为5页/分钟)。建议降低该值,比如当存在超时问题时,将其降低为10秒。默认情况下,Scrapy将两次下载间的延迟设置为0,以最大化抓取速度。可以使用 DOWNLOAD_DELAY 设