知识卡片

结构图卡 · 8025.gc · 生成模型:未记录

共享缓存按处理阶段读入和回填

理解等级:中级

RedisCache先按命名空间加地址查JSON值,命中时给Item设置location,使后续GeoPipeline跳过获取;成功通过所有管道后的item_scraped再写回坐标。读取、地理编码和回填的顺序共同产生收益,单纯启用Redis不自动改变调用路径。本次没有连接Redis,示例FLUSHALL会清全部数据库,不能作为一般连接测试。

结构图: 类图

classDiagram
 class RedisCache {
  -redis_url
  -redis_nm
  -connection
  +process_item(item, spider)
  +item_scraped(item, spider)
 }
 RedisCache --> GeoPipeline : 预填location后继续
 RedisCache ..> SignalManager : 订阅item_scraped
 RedisCache --> lazyConnectionPool : Redis读写
 note for RedisCache "命中先用;成功流水线结束后回填"
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第9章 管道秘诀,spine041单元011;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00040.html。 - 结论依据:原文RedisCache先读location令后续跳过获取,item_scraped后写回,直接支持命中收益来自处理顺序,不由启用Redis单独产生。未在本机运行示例或改变环境。 - 原始内容: lazyConnectionPool class RedisCache(object): ... def __init__(self, crawler, redis_url, redis_nm): self.redis_url = redis_url se