知识卡片
共享缓存按处理阶段读入和回填
RedisCache先按命名空间加地址查JSON值,命中时给Item设置location,使后续GeoPipeline跳过获取;成功通过所有管道后的item_scraped再写回坐标。读取、地理编码和回填的顺序共同产生收益,单纯启用Redis不自动改变调用路径。本次没有连接Redis,示例FLUSHALL会清全部数据库,不能作为一般连接测试。
结构图: 类图
classDiagram
class RedisCache {
-redis_url
-redis_nm
-connection
+process_item(item, spider)
+item_scraped(item, spider)
}
RedisCache --> GeoPipeline : 预填location后继续
RedisCache ..> SignalManager : 订阅item_scraped
RedisCache --> lazyConnectionPool : Redis读写
note for RedisCache "命中先用;成功流水线结束后回填"
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 管道秘诀 9.3.1 用于读写Redis的管道 · 查看原书依据
class RedisCache(object)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第9章 管道秘诀,spine041单元011;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00040.html。
- 结论依据:原文RedisCache先读location令后续跳过获取,item_scraped后写回,直接支持命中收益来自处理顺序,不由启用Redis单独产生。未在本机运行示例或改变环境。
- 原始内容: lazyConnectionPool class RedisCache(object): ... def __init__(self, crawler, redis_url, redis_nm): self.redis_url = redis_url se