← 返回刚才阅读的位置

知识卡片

操作参考卡 · 8025.ac · 生成模型:未记录

爬虫身份和访问规则要显式配置

理解等级:中级

按目标规则配置robots处理、User-Agent和联系渠道,使站点能识别并表达访问限制。Scrapy提供对应配置,不等于每个项目均已正确启用;原书BOT_NAME作身份的默认说法需按版本设置核对。robots.txt是爬取指引,RFC9309明确它不是访问授权;原书多数网站允许不署自己名重新处理的泛化不能作通用许可判断。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第1章 Scrapy简介,spine033单元010;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00032.html。 - 结论依据:原文RobotsTxtMiddleware等入口支持显式设置身份和规则,所列RFC将爬取指引与访问授权分开,功能存在不证明项目已正确配置。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html;https://www.rfc-editor.org/rfc/rfc9309.html。未在本机运行示例或改变环境。 - 原始内容:y提供了用于尊重网站管理员设置的功能( RobotsTxtMiddleware )。最后,最好向网站管理员提供一些方法,让他们能说明不希望在你的爬虫中出现的东西。至少网站管理员必须能够很容易地找到和你交流及表达顾虑的方式。