知识卡片
三类流对象指向不同扩展职责
Spider按来源创建Request、处理Response,产生Item及更多Request;Item是结构化数据,Request是后续工作,Response是下载结果。需要只适配某站点就改Spider,需要共享数据变换/存储就用Pipeline,需要改请求响应路径选对应中间件,其他生命周期工具可用扩展。表8.1是选择入口,不是所有问题都要增加新组件。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 Scrapy编程 8.2 Scrapy架构概述 · 查看原书依据
表8.1可以帮助你
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。
- 结论依据:原文表8.1按Request/Response/Item及来源区分数据路径,支持选Spider、管道或中间件相应hook,而非混用流对象。补充核验入口:https://docs.scrapy.org/en/latest/topics/architecture.html。未在本机运行示例或改变环境。
- 原始内容: Crawler ,可以不去实现它们。 表8.1可以帮助你在针对指定问题时决定最好的机制。 表8.1 问题 解决方案 一些只针对于我正在爬取的网站的内容 修改爬虫 修改或存储Item——特定领域,可能在项目间复用 编写Item管