知识卡片
请求元数据能携带但也会改写打点
Request.meta到Response.meta便于把调度和接收时间带到Item完成阶段,重定向/重试可传递相应元数据;但回调若再次写schedule_time就改变了所测起点。Response.request也并非所有阶段可用或永远就是最初请求。不能由元数据可传递推断自动测到了最初入口到所有后续操作的全链延迟。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 Scrapy编程 8.5 示例2:测量吞吐量和延时的扩展 · 查看原书依据
request.meta['schedule_time'] = time()
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元009;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。
- 结论依据:原文meta传时间但再次调度可覆盖schedule_time,支持携带能力与起点不变分开,Response.request也不总为最初请求或处处可用。补充核验入口:https://docs.scrapy.org/en/latest/topics/request-response.html。未在本机运行示例或改变环境。
- 原始内容:, request, spider): request.meta['schedule_time'] = time() def _response_received(self, response, request, spider): request.meta['received_time