知识卡片
监控聚合也必须区分失败结果
同时请求多个listjobs并聚合,能比顺序轮询减少等待,但超时、HTTP错误或JSON错误都应按节点呈现。示例addBoth把Failure包成(name,resp)后返回普通元组,会把错误链转成成功值;随后对Failure调用json仍会失败。外层success不足以说明HTTP调用成功。LoopingCall的异常和退出也需处理,pending/running/finished计数不是业务数据完整性证明。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.5 创建自定义监控命令 · 查看原书依据
d.addBoth(lambda resp, name: (name, resp), name)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元010;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。
- 结论依据:原文addBoth统一返回元组、DeferredList循环又直接resp.json的代码支撑失败被包装后再出错的推导;未实际运行。2026-11-06核对官方资料:https://docs.twisted.org/en/stable/api/twisted.internet.defer.DeferredList.html。未在本机运行示例或改变环境。
- 原始内容:, persistent=False) d.addBoth(lambda resp, name: (name, resp), name) all_deferreds.append(d) all_resp = yield defer.DeferredList(all_deferreds) for (succ