知识卡片

结构图卡 · 8025.bl · 生成模型:未记录

回调承担响应到结果的转换

理解等级:中级

BasicSpider的name标识爬虫,start_urls给出初始目标,parse接收响应并执行字段提取;继承Spider提供调度协作而非自动理解房源。allowed_domains配合站外过滤控制跟进范围,不是网络隔离保证。生成模板中的www.web与示例服务web:9312也不能混为同一可用地址,需按真实环境修改。

结构图: 类图

classDiagram
 class Spider
 class BasicSpider {
  +name
  +allowed_domains
  +start_urls
  +parse(response)
 }
 Spider <|-- BasicSpider
 note for BasicSpider "parse接收Response;输出数据或后续Request由开发者实现"
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元015;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。 - 结论依据:原文BasicSpider的parse显式提字段,支持框架提供协作而业务解析由回调完成;allowed_domains过滤不是网络安全隔离。补充核验入口:https://docs.scrapy.org/en/latest/topics/spiders.html。未在本机运行示例或改变环境。 - 原始内容:如下代码。 import scrapy class BasicSpider(scrapy.Spider): name = "basic" allowed_domains = ["web"] start_urls = ( 'http://www.web/', ) def pa