知识卡片
生成请求把导航交回框架
parse用yield逐个交出Request,下一页请求不设回调时由普通Spider默认parse处理,详情请求显式callback=self.parse_item处理字段。yield会挂起生成器,等待消费者再次推进才继续,而非无条件立刻执行完余下循环。相比先建完整列表,它可减少一次性请求列表构造,但框架仍可能积累待执行任务。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 爬虫基础 3.4.1 使用爬虫实现双向爬取 · 查看原书依据
callback=self.parse_item
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元021;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。
- 结论依据:原文yield Request并指定parse_item,直接支持调度回调与生成器逐步消费,yield不是无条件立即跑完余下循环。补充核验入口:https://docs.scrapy.org/en/latest/topics/request-response.html。未在本机运行示例或改变环境。
- 原始内容:response.url, url), callback=self.parse_item) 你可能已经注意到了前面例子中的 yield 语句。 yield 与 return 在某种意义上来说有些相似,都是将返回值提供给调用者。不过,和 return 不同的是