知识卡片

普通读书笔记卡 · 8025.ey · 生成模型:未记录

打点位置决定延迟指标含义

理解等级:中级

schedule_time到item_scraped包含排队、下载、解析及后续处理,received_time到item_scraped仍包含解析/队列和管道,不能直接命名为纯下载或纯管道耗时。多个Item共用同一Response时间戳使平均值按成功Item加权,丢弃和失败未计入;示例未处理所有缺失打点路径。测量前先定义对象和起止事件,才可正确比较。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元009;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。 - 结论依据:原文时间戳从调度/接收直到item_scraped,直接显示中间含解析和队列,按成功Item平均又带权,不能命名成纯下载或纯管道。未在本机运行示例或改变环境。 - 原始内容:ta['schedule_time'] self.proc_latency += time() - response.meta['received_time'] self.items += 1 def _log(self, spider): irate = flo