知识卡片

普通读书笔记卡 · 8025.ad · 生成模型:未记录

采集框架与索引存储分工不同

理解等级:中级

Scrapy组织抓取和结构化提取,仍需面向站点编写解析逻辑;它不因遍历页面就自动构成通用搜索引擎或数据库。提取结果可送入Pipeline、导出文件或外部存储/索引系统。书中既不存储也不索引应理解为它不是这些专用服务,而非没有输出和持久化集成能力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第1章 Scrapy简介,spine033单元011;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00032.html。 - 结论依据:原文明示Scrapy不是数据库,支持采集提取与专用存储职责区分;管道/导出仍可持久化集成,未读成完全不能存结果。补充核验入口:https://docs.scrapy.org/en/latest/topics/architecture.html。未在本机运行示例或改变环境。 - 原始内容:都有所支持,能够让你的生活更加轻松。然而Scrapy终究不是一个数据库,其输出也可以很容易地更改为只是磁盘中的文件,甚至什么都不输出——虽然我不确定这有什么用。