知识卡片

普通读书笔记卡 · 8025.cq · 生成模型:未记录

先找数据请求再选择解析方法

理解等级:中级

浏览器DOM有数据而原始HTML没有时,检查Network可发现脚本另外请求的JSON,如本例api.json。直接处理有权限访问的数据接口,可省去为已知JSON结构写XPath,但仍需复现必要的方法、参数与会话条件,不能假定接口永远公开或返回结构不变。静态解析与脚本生成树不同的原因由请求链来解释。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第5章 迅速的爬虫技巧,spine037单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00036.html。 - 结论依据:原文Network中api.json解释HTML缺数据来源,支持选有权限接口按结构解析;发现URL未证明接口公开或长期不变。未在本机运行示例或改变环境。 - 原始内容:行的Javascript框架的代码;而 api.json 看起来会让我们产生兴趣。当单击该请求(6),并单击右侧的 Preview 选项卡(7)时,就会发现这里面包含了我们正在寻找的数据。实际上, http://localhost:9312/prop