知识卡片
间隔缓存与并发需要一起理解
DOWNLOAD_DELAY控制相应域名/下载槽的请求间隔,随机扰动使间隔不是固定等距;它会与并发共同限制实际吞吐。书中RANDOMIZE_DOWNLOAD_DELAY是旧开关,当前2.19文档引入DOWNLOAD_DELAY_JITTER。DNSCACHE_ENABLED减少重复查找,仍有生命周期和地址变化边界,不是所有网络等待都被消除。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 配置与管理 7.2.2 性能 · 查看原书依据
DNSCACHE_ENABLED
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。
- 结论依据:原文下载间隔、随机化和DNS缓存分别控制请求节奏与解析复用,支持按不同职责解释,随机开关现行名称依所列版本资料限定。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html。未在本机运行示例或改变环境。
- 原始内容:快的DNS查找,Scrapy默认使用了 DNSCACHE_ENABLED 设置,启用了内存中的DNS缓存。