知识卡片
工作入口适配依赖框架契约
设置存在时用JSON里的URL替代原start_requests,并给请求设置目标rule和CrawlSpider内部回调,才能走到相应详情解析。应验证URL列表、目标规则及已部署代码相容;正文一处写_response_download,实际代码是_response_downloaded。内部回调与启动中间件接口会随版本变化,示例只能作为旧版实现说明,不能直接当当前稳定公共API。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.3 从设置中获取初始URL · 查看原书依据
spider._response_downloaded
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元008;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。
- 结论依据:原文完整process_start_requests实现和上下文回调说明可定位拼写不一致与内部依赖;未测试当前版本兼容。未在本机运行示例或改变环境。
- 原始内容: yield Request(url, spider._response_downloaded, meta={'rule': self._target}) 我们的中间件已经准备好了。可以在 settings.py 中启用它并进行设置。 SPIDER_MIDDLEW