知识卡片

普通读书笔记卡 · 8025.eq · 生成模型:未记录

三类流对象指向不同扩展职责

理解等级:中级

Spider按来源创建Request、处理Response,产生Item及更多Request;Item是结构化数据,Request是后续工作,Response是下载结果。需要只适配某站点就改Spider,需要共享数据变换/存储就用Pipeline,需要改请求响应路径选对应中间件,其他生命周期工具可用扩展。表8.1是选择入口,不是所有问题都要增加新组件。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。 - 结论依据:原文表8.1按Request/Response/Item及来源区分数据路径,支持选Spider、管道或中间件相应hook,而非混用流对象。补充核验入口:https://docs.scrapy.org/en/latest/topics/architecture.html。未在本机运行示例或改变环境。 - 原始内容: Crawler ,可以不去实现它们。 表8.1可以帮助你在针对指定问题时决定最好的机制。 表8.1 问题 解决方案 一些只针对于我正在爬取的网站的内容 修改爬虫 修改或存储Item——特定领域,可能在项目间复用 编写Item管