知识卡片

问题卡 · 5626.b.1

采集练习须控制访问负担

理解等级:中级

采集程序只下载少量页面就被封禁时,先检查访问频率和资源占用,不把持续加压当作并发练习。下载只是流程的一环,数据解析、整理和分析同样提供并发场景。练习应控制对目标服务的负担并遵守适用规则;技术上能抓取并不自动意味着可以任意使用。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      我们要让程序去模拟人的行为,模拟人使用网络浏览器访问网站内容的过程,而不是用尽计算力去疯狂地霸占人家的带宽和服务,否则那不就成了网络攻击了。这是一个非常重要的自我实践的技巧,请大家记住,“利己,但不要损人”。 注意,正常

    参考来源

    - 位置:《Go语言核心36讲》第50章《50 : 学习专栏的正确姿势》(来源项目book-sources:extracted/Go语言核心36讲/_epub-src/OEBPS/Text/03.html;spine 3,归一字符[1133,1243)) - 结论依据:原文明确反对霸占带宽、要求利己不损人,并提醒技术研究的道德和法律边界。 - 原始内容:我们要让程序去模拟人的行为,模拟人使用网络浏览器访问网站内容的过程,而不是用尽计算力去疯狂地霸占人家的带宽和服务,否则那不就成了网络攻击了。这是一个非常重要的自我实践的技巧,请大家记住,“利己,但不要损人”。 注意,正常