知识卡片
采集框架与索引存储分工不同
Scrapy组织抓取和结构化提取,仍需面向站点编写解析逻辑;它不因遍历页面就自动构成通用搜索引擎或数据库。提取结果可送入Pipeline、导出文件或外部存储/索引系统。书中既不存储也不索引应理解为它不是这些专用服务,而非没有输出和持久化集成能力。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 Scrapy简介 1.6 Scrapy不是什么 · 查看原书依据
Scrapy终究不是一个数据库
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第1章 Scrapy简介,spine033单元011;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00032.html。
- 结论依据:原文明示Scrapy不是数据库,支持采集提取与专用存储职责区分;管道/导出仍可持久化集成,未读成完全不能存结果。补充核验入口:https://docs.scrapy.org/en/latest/topics/architecture.html。未在本机运行示例或改变环境。
- 原始内容:都有所支持,能够让你的生活更加轻松。然而Scrapy终究不是一个数据库,其输出也可以很容易地更改为只是磁盘中的文件,甚至什么都不输出——虽然我不确定这有什么用。