知识卡片
爬虫规则不能代替流量防护
尊重robots.txt的爬虫可以按约定访问,但忽略约定的抓取程序仍可能高速遍历目录、不带会话cookie,耗尽应用资源。对合法搜索流量可提供静态副本;对已识别的滥用可在CDN或边界限流/屏蔽,并让旧规则过期。判断不能只看User-Agent或一个IP,应结合请求轨迹;这不是一次配置即可永久完成的工作。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 稳定性的反模式 · 查看原书依据
那些网站内容“寄生虫”则会完全忽略这个文件。 在我见过的解决上述问题的方法中,只有两种是可行的。
参考来源
- 位置:《发布!设计与部署稳定的分布式系统(第2版)》第4章《稳定性的反模式》(来源项目:book-sources;源文件:extracted/发布!设计与部署稳定的分布式系统(第2版)/_epub-src/OEBPS/Text/epub_0011.html)
- 结论依据:原文的机制、案例或步骤支撑本卡解释;未执行的操作仅作为方法,推论与出版时环境不写成当前实测事实。
- 原始内容:那些网站内容“寄生虫”则会完全忽略这个文件。 在我见过的解决上述问题的方法中,只有两种是可行的。