知识卡片

结构图卡 · 8025.fr · 生成模型:未记录

同键在途请求需要合并等待者

理解等级:中级

DeferredCache在未命中时先建立该键的等待者列表,再发起一次真实获取;后来的同键查询只加入列表,获取完成后广播相同结果。这样避免并发协程都未命中时重复请求,普通结果字典本身没有这项能力。去重范围仅此缓存实例,结构没有分布式互斥或容量管理,不代表所有线程可直接并发修改它。

结构图: 类图

classDiagram
 class DeferredCache {
  -records
  -deferreds_waiting
  -key_not_found_callback
  +find(key) Deferred
 }
 DeferredCache o-- Deferred : 同键等待者
 DeferredCache ..> GeoPipeline : 缺键时获取
 note for DeferredCache "先登记在途,再取值;成功或失败回调广播给等待者"
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第9章 管道秘诀,spine041单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00040.html。 - 结论依据:原文缺键先登记等待列表后只发一次获取,后续同键加入,支持单实例合并在途请求;普通结果字典或跨机运行未天然具有此协议。未在本机运行示例或改变环境。 - 原始内容:ython和Twisted的有趣特性。 class DeferredCache(object): def __init__(self, key_not_found_callback): self.records = {} self.deferreds_waitin