知识卡片

普通读书笔记卡 · 8025.ds · 生成模型:未记录

离线复用依赖真实命中的缓存范围

理解等级:中级

先在线填充缓存,再重跑同一范围,可在策略允许且全部请求已有可用缓存时离线调试。原书从5000降到4500是降低碰到未缓存分页的机会,不证明任意目标数都完整缓存;缓存缺失仍可能联网或失败。清理时应定位实际缓存目录,原文删整个.scrapy会波及其中其他项目状态,本次未删除任何目录。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元007;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。 - 结论依据:原文将目标数从5000降4500为减少未缓存页,显示仅降低风险而非证明完整缓存,清整个.scrapy也可能超出缓存作用域。未在本机运行示例或改变环境。 - 原始内容:会在爬虫完全结束前读取更多的页面,但我们不希望命中的页面不在缓存范围内。要想清理缓存,只需删除缓存目录即可。 $ rm -rf .scrapy