知识卡片
同键在途请求需要合并等待者
DeferredCache在未命中时先建立该键的等待者列表,再发起一次真实获取;后来的同键查询只加入列表,获取完成后广播相同结果。这样避免并发协程都未命中时重复请求,普通结果字典本身没有这项能力。去重范围仅此缓存实例,结构没有分布式互斥或容量管理,不代表所有线程可直接并发修改它。
结构图: 类图
classDiagram
class DeferredCache {
-records
-deferreds_waiting
-key_not_found_callback
+find(key) Deferred
}
DeferredCache o-- Deferred : 同键等待者
DeferredCache ..> GeoPipeline : 缺键时获取
note for DeferredCache "先登记在途,再取值;成功或失败回调广播给等待者"
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 管道秘诀 9.1.3 使用Google Geocoding API实现地理编码的管道 · 查看原书依据
class DeferredCache(object)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第9章 管道秘诀,spine041单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00040.html。
- 结论依据:原文缺键先登记等待列表后只发一次获取,后续同键加入,支持单实例合并在途请求;普通结果字典或跨机运行未天然具有此协议。未在本机运行示例或改变环境。
- 原始内容:ython和Twisted的有趣特性。 class DeferredCache(object): def __init__(self, key_not_found_callback): self.records = {} self.deferreds_waitin