知识卡片
任务标识决定读取哪次数据
原书Items API用项目ID、爬虫ID和任务ID共同定位运行结果,并用API key认证;界面查看/过滤和CSV、JSON、JSON Lines下载是另一访问入口。爬虫名称不等于某次任务编号,读取前应确认身份组合。原文一处storage.scapinghub.com少字母,与后续curl拼写不一致,旧端点与调用方式不能不核对就照搬。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 部署到Scrapinghub 6.3 访问item · 查看原书依据
<project id>/<spider id>/<job id>
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第6章 部署到Scrapinghub,spine038单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00037.html。
- 结论依据:原文Items API以project/spider/job三ID定位,直接支持名称和运行身份分开;域名拼写错与认证信息仍需核对,不假设请求已成功。未在本机运行示例或改变环境。
- 原始内容:apinghub.com/ items/<project id>/<spider id>/<job id> 的请求,获取item,该过程如下所示。 $ curl -u 180128bc7a0.....50e8290dbf3b0: https://storage.scrapin