知识卡片
采集练习须控制访问负担
采集程序只下载少量页面就被封禁时,先检查访问频率和资源占用,不把持续加压当作并发练习。下载只是流程的一环,数据解析、整理和分析同样提供并发场景。练习应控制对目标服务的负担并遵守适用规则;技术上能抓取并不自动意味着可以任意使用。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
我们要让程序去模拟人的行为,模拟人使用网络浏览器访问网站内容的过程,而不是用尽计算力去疯狂地霸占人家的带宽和服务,否则那不就成了网络攻击了。这是一个非常重要的自我实践的技巧,请大家记住,“利己,但不要损人”。 注意,正常
参考来源
- 位置:《Go语言核心36讲》第50章《50 : 学习专栏的正确姿势》(来源项目book-sources:extracted/Go语言核心36讲/_epub-src/OEBPS/Text/03.html;spine 3,归一字符[1133,1243))
- 结论依据:原文明确反对霸占带宽、要求利己不损人,并提醒技术研究的道德和法律边界。
- 原始内容:我们要让程序去模拟人的行为,模拟人使用网络浏览器访问网站内容的过程,而不是用尽计算力去疯狂地霸占人家的带宽和服务,否则那不就成了网络攻击了。这是一个非常重要的自我实践的技巧,请大家记住,“利己,但不要损人”。 注意,正常