知识卡片
先找数据请求再选择解析方法
浏览器DOM有数据而原始HTML没有时,检查Network可发现脚本另外请求的JSON,如本例api.json。直接处理有权限访问的数据接口,可省去为已知JSON结构写XPath,但仍需复现必要的方法、参数与会话条件,不能假定接口永远公开或返回结构不变。静态解析与脚本生成树不同的原因由请求链来解释。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 迅速的爬虫技巧 5.2 使用JSON API和AJAX页面的爬虫 · 查看原书依据
api.json 看起来会让我们产生兴趣
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第5章 迅速的爬虫技巧,spine037单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00036.html。
- 结论依据:原文Network中api.json解释HTML缺数据来源,支持选有权限接口按结构解析;发现URL未证明接口公开或长期不变。未在本机运行示例或改变环境。
- 原始内容:行的Javascript框架的代码;而 api.json 看起来会让我们产生兴趣。当单击该请求(6),并单击右侧的 Preview 选项卡(7)时,就会发现这里面包含了我们正在寻找的数据。实际上, http://localhost:9312/prop