知识卡片

普通读书笔记卡 · 5619.f.7.a.3.a.1.e.7.c.8

限制并发须绑定稀缺资源

理解等级:中级

无限为URL起任务可能耗尽连接与文件描述符,表面DNS失败也可能是资源不足的次生症状。用容量20通道在Extract前发送占位、完成后接收释放,可限制同时抓取数;它不限制已创建而等待的goroutine总数。20是示例值,应按真实资源和下游能力确定,不能照搬fd减常量公式或固定加速倍数。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Go语言圣经》第08章《示例: 并发的Web爬虫》(来源项目book-sources:extracted/Go语言圣经/_epub-src/ch8-06.html;spine 79,归一字符[2436,2475)) - 结论依据:原文资源耗尽、令牌包围Extract及20worker方案说明限制对象。 - 原始内容:tokens <- struct{}{} // acquire a token