知识卡片
基础设施规则宜集中适配
当数百个爬虫都需要批次分发时,可把统一的请求筛选、分批和工作入口适配放在中间件,保留各爬虫的页面抽取职责。集中并不意味着完全透明:书中方案依赖CrawlSpider规则编号和特定请求形态,应把这些约束显式配置,不能宣称任何爬虫无需修改都能分布式运行。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。
- 结论依据:原文列出索引调整、分批与启动适配三项变化并反对逐个爬虫侵入修改;后续限定条件使透明性有边界。未在本机运行示例或改变环境。
- 原始内容:并且对其依赖的爬虫代码透明。这应该是一个基础架构层级的需求,如果想对爬虫(可能数百个)进行修改来实现它则是一个坏主意。