知识卡片
分页与详情形成两类导航
横向从索引页到下一索引页,纵向从索引页到详情页抽取Item,两类链接可分别用选择器识别。图3.8显示这是一种页面角色分工,不是固定的下载时间顺序。把相对链接结合当前响应解析后再提交,且核对真实路径;原书urljoin输出额外出现scrapybook目录,不能由所示基准URL直接推出。
结构图:
flowchart LR
A[索引页] -->|下一页:横向| B[另一索引页]
A -->|详情链接:纵向| D[房源页]
B --> E[另一房源页]
D --> I[Item]
E --> I
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元020;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。
- 结论依据:原文水平/纵向图按页面角色分工,支持两类请求不是固定完成先后;urljoin例额外路径不能从所示基准直接推出。未在本机运行示例或改变环境。
- 原始内容:Item 。 在本书中,我们将前者称为 水平爬取 ,因为这种情况下是在同一层级下爬取页面(比如索引页);而将后者称为 垂直爬取 ,因为该方式是从一个更高的层级(比如索引页)到一个更低的层级(比如房源页)。 实际上,它比