知识卡片

普通读书笔记卡 · 8025.hn · 生成模型:未记录

分发中间件只截取目标请求

理解等级:中级

process_spider_output对Item和非目标Request继续yield,把目标Rule的Request取出分批,因此这些详情不会在发现节点下载。该实现只传URL,丢掉原请求方法、正文、头、认证和回调状态,只适用于已说明的简单GET及CrawlSpider。规则编号是框架实现依赖,迁移版本或改规则顺序时必须核对,不能拿URL当完整请求。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元007;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。 - 结论依据:原文筛选Request及meta rule的代码,并明确POST和鉴权需要额外扩展,支撑适用范围限制。未在本机运行示例或改变环境。 - 原始内容: CrawlSpider 的爬虫,另外还只支持简单的GET请求。如果需要更加复杂,比如POST或有权限验证的请求,那么需要开发更复杂的功能来扩展参数、请求头,甚至可能在每次批量运行后重新登录。 在开始之前,先来快速浏览一下Scrap