知识卡片

普通读书笔记卡 · 8025.bx · 生成模型:未记录

生成请求把导航交回框架

理解等级:中级

parse用yield逐个交出Request,下一页请求不设回调时由普通Spider默认parse处理,详情请求显式callback=self.parse_item处理字段。yield会挂起生成器,等待消费者再次推进才继续,而非无条件立刻执行完余下循环。相比先建完整列表,它可减少一次性请求列表构造,但框架仍可能积累待执行任务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元021;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。 - 结论依据:原文yield Request并指定parse_item,直接支持调度回调与生成器逐步消费,yield不是无条件立即跑完余下循环。补充核验入口:https://docs.scrapy.org/en/latest/topics/request-response.html。未在本机运行示例或改变环境。 - 原始内容:response.url, url), callback=self.parse_item) 你可能已经注意到了前面例子中的 yield 语句。 yield 与 return 在某种意义上来说有些相似,都是将返回值提供给调用者。不过,和 return 不同的是