知识卡片
限制并发须绑定稀缺资源
无限为URL起任务可能耗尽连接与文件描述符,表面DNS失败也可能是资源不足的次生症状。用容量20通道在Extract前发送占位、完成后接收释放,可限制同时抓取数;它不限制已创建而等待的goroutine总数。20是示例值,应按真实资源和下游能力确定,不能照搬fd减常量公式或固定加速倍数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
tokens <- struct{}{} // acquire a token
参考来源
- 位置:《Go语言圣经》第08章《示例: 并发的Web爬虫》(来源项目book-sources:extracted/Go语言圣经/_epub-src/ch8-06.html;spine 79,归一字符[2436,2475))
- 结论依据:原文资源耗尽、令牌包围Extract及20worker方案说明限制对象。
- 原始内容:tokens <- struct{}{} // acquire a token