知识卡片
项目复用数据而爬虫适配来源
若多个站点提供同类房源,可在项目中共享Item和处理管线,由不同Spider适配各来源结构;处理完全不同的数据则可拆项目。它是作者组织代码的建议,不是框架强制一站一个爬虫或一类一个项目。genspider生成起点,模块路径对应包与文件,后续仍需实现真实解析逻辑。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 爬虫基础 3.3.2 编写爬虫 · 查看原书依据
项目是由Item 和若干爬虫组成的
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元015;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。
- 结论依据:原文多Spider共享Item按同类数据组织,支持来源适配与共同处理分工,作者建议未当框架强制一站一爬虫。补充核验入口:https://docs.scrapy.org/en/latest/topics/spiders.html。未在本机运行示例或改变环境。
- 原始内容: 什么时候使用爬虫,什么时候使用项目呢?项目是由 Item 和若干爬虫组成的。如果有很多网站,并且需要从中抽取相同类型的 Item ,比如:房产,那么所有这些网站都可以使用同一个项目,并且为每个源/网站使用一个爬虫。反之,如果要处理图书及房产这两