知识卡片
本地样本降低网站变化的干扰
原书建议用随书web服务训练选择器,dev内访问web:9312,宿主浏览器经localhost:9312访问映射入口,这两个名称依各自网络上下文解释。稳定样本便于离线复现,不等于复制了真实站全部行为。书中Gumtree需特定User-Agent为历史观察,修改请求头不保证当前可访问或已获授权。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 爬虫基础 3.2.1 URL · 查看原书依据
http://web:9312/
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元010;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。
- 结论依据:原文dev中web名与宿主localhost映射说明不同网络上下文,支持用受控样本练习;样本未复制真实站全部行为,也未授权用头部规避限制。未在本机运行示例或改变环境。
- 原始内容:Vagrant的dev机器中,可以通过 http://web:9312/ 访问该Web服务器,而在你的浏览器中,可以通过 http://localhost:9312/ 来访问。 在scrapy shell中打开服务器中的一个网页,并且在dev