知识卡片

操作参考卡 · 8025.du · 生成模型:未记录

访问规则与会话设置分工不同

理解等级:中级

ROBOTSTXT_OBEY执行爬取指引,COOKIES_ENABLED管理会话Cookie,REFERER_ENABLED填来源头,DEFAULT_REQUEST_HEADERS/USER_AGENT表达请求身份与约定。禁Cookie可能破坏登录而非获得匿名保证,改请求头也不等于访问授权。User-Agent宜明确应用与可联系信息,默认值和配置行为按版本核对,不能把所有功能混成提速开关。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元008;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。 - 结论依据:原文robots、cookies、referer与请求头各入口表明职责不同,禁Cookie会改变登录状态,改身份未提供访问授权或匿名保证。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html。未在本机运行示例或改变环境。 - 原始内容:果你想拥有更“私密”的爬取,可以通过将 COOKIES_ENABLED 设置 False 以禁用。禁用cookie还会轻微降低你使用的带宽,并且可能会对你的爬取操作有一点提速,当然它会依赖于你爬取的网站。与 CookiesMiddleware 类似, REF