知识卡片
爬取边界须读取站点规则
Robots协议通过网站根路径/robots.txt声明给不同爬虫的抓取规则;原稿写robot.txt少了s。规则解释、获取与缓存应成为爬虫策略的一部分,不能因框架未内置就忽略。该协议不是访问认证或内容保密机制,也不表示技术上能请求到的资源都已获得任意用途授权。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 一个网络爬虫框架的设计和实现 · 查看原书依据
Robots协议也常被称为网络爬虫协议。网络站点会在其根目录下放置一个以ASCII编码的文本文件robot.txt。这个文本文件就是Robots协议文件。
参考来源
- 位置:《Go并发编程实战》第09章《一个网络爬虫框架的设计和实现》之《9.9 当前的不足和解决思路》(来源项目book-sources;源文件:extracted/Go并发编程实战/_epub-src/text/part0000_split_071.html)
- 结论依据:原文围绕爬取边界须读取站点规则给出定义、实例或限制;卡片结合这些上下文解释条件,已知错误在正文就近校正。
- 原始内容:Robots协议也常被称为网络爬虫协议。网络站点会在其根目录下放置一个以ASCII编码的文本文件robot.txt。这个文本文件就是Robots协议文件。
外部补充核验:[RFC 9309](https://www.rfc-editor.org/rfc/rfc9309.html)。