知识卡片
离线复用依赖真实命中的缓存范围
先在线填充缓存,再重跑同一范围,可在策略允许且全部请求已有可用缓存时离线调试。原书从5000降到4500是降低碰到未缓存分页的机会,不证明任意目标数都完整缓存;缓存缺失仍可能联网或失败。清理时应定位实际缓存目录,原文删整个.scrapy会波及其中其他项目状态,本次未删除任何目录。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 配置与管理 7.2.4 HTTP缓存和离线运行 · 查看原书依据
不希望命中的页面不在缓存范围内
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元007;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。
- 结论依据:原文将目标数从5000降4500为减少未缓存页,显示仅降低风险而非证明完整缓存,清整个.scrapy也可能超出缓存作用域。未在本机运行示例或改变环境。
- 原始内容:会在爬虫完全结束前读取更多的页面,但我们不希望命中的页面不在缓存范围内。要想清理缓存,只需删除缓存目录即可。 $ rm -rf .scrapy