知识卡片

普通读书笔记卡 · 8025.bk · 生成模型:未记录

项目复用数据而爬虫适配来源

理解等级:中级

若多个站点提供同类房源,可在项目中共享Item和处理管线,由不同Spider适配各来源结构;处理完全不同的数据则可拆项目。它是作者组织代码的建议,不是框架强制一站一个爬虫或一类一个项目。genspider生成起点,模块路径对应包与文件,后续仍需实现真实解析逻辑。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元015;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。 - 结论依据:原文多Spider共享Item按同类数据组织,支持来源适配与共同处理分工,作者建议未当框架强制一站一爬虫。补充核验入口:https://docs.scrapy.org/en/latest/topics/spiders.html。未在本机运行示例或改变环境。 - 原始内容: 什么时候使用爬虫,什么时候使用项目呢?项目是由 Item 和若干爬虫组成的。如果有很多网站,并且需要从中抽取相同类型的 Item ,比如:房产,那么所有这些网站都可以使用同一个项目,并且为每个源/网站使用一个爬虫。反之,如果要处理图书及房产这两