知识卡片
登录要追踪请求状态的完整链
示例从表单POST登录,服务端重定向到gated,后续请求携带会话Cookie才能获取受限索引。Network面板帮助确认方法、表单字段、Location与后续请求头;302或200本身不证明登录成功,应检查目标状态和内容。示例只保护索引链接,详情页未同样保护,不能把它当完整访问控制设计。本次未登录任何站点。
结构图:
sequenceDiagram
participant C as 抓取客户端
participant S as 示例服务端
C->>S: POST表单凭据
S-->>C: 登录结果、会话Cookie、302跳转
C->>S: 跟进gated并带匹配会话Cookie
S-->>C: 索引或失败内容
Note over C,S: 检查业务结果;状态码和重定向本身不是成功证明
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 迅速的爬虫技巧 5.1 需要登录的爬虫 · 查看原书依据
302 Found
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第5章 迅速的爬虫技巧,spine037单元002;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00036.html。
- 结论依据:原文POST、302和后续Cookie链显示会话状态逐步传递,支持检查最终内容而非只看状态码;仅保护索引的例子不构成完整访问控制。补充核验入口:https://docs.scrapy.org/en/latest/topics/request-response.html。未在本机运行示例或改变环境。
- 原始内容:我们更好地显示这些数据。服务端的响应是 302 Found (5),使我们跳转到一个新的页面: /dynamic/gated 。该页面只有在登录成功后才会出现。如果尝试直接访问 http://localhost:9312/dyn