知识卡片
回调承担响应到结果的转换
BasicSpider的name标识爬虫,start_urls给出初始目标,parse接收响应并执行字段提取;继承Spider提供调度协作而非自动理解房源。allowed_domains配合站外过滤控制跟进范围,不是网络隔离保证。生成模板中的www.web与示例服务web:9312也不能混为同一可用地址,需按真实环境修改。
结构图: 类图
classDiagram
class Spider
class BasicSpider {
+name
+allowed_domains
+start_urls
+parse(response)
}
Spider <|-- BasicSpider
note for BasicSpider "parse接收Response;输出数据或后续Request由开发者实现"
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 爬虫基础 3.3.2 编写爬虫 · 查看原书依据
class BasicSpider(scrapy.Spider)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元015;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。
- 结论依据:原文BasicSpider的parse显式提字段,支持框架提供协作而业务解析由回调完成;allowed_domains过滤不是网络安全隔离。补充核验入口:https://docs.scrapy.org/en/latest/topics/spiders.html。未在本机运行示例或改变环境。
- 原始内容:如下代码。 import scrapy class BasicSpider(scrapy.Spider): name = "basic" allowed_domains = ["web"] start_urls = ( 'http://www.web/', ) def pa