知识卡片
去重登记需要原子占位
sendReq先Get查URL不存在,异步Put请求后才向urlMap登记。两个调用者可同时通过Get,造成重复提交;入池失败时URL却仍可能已登记,之后重试被过滤。需要原子取得URL处理权,并区分排队、处理中、成功和可重试失败;线程安全map不能把两次方法调用自动合成原子去重。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
if v := sched.urlMap.Get(reqURL.String()); v != nil { logger.Warnf("Ignore the request! Its URL is repeated. (URL: %s)\n", reqURL) return false } pd, _ := getPrimaryDomain(httpReq.Host)
参考来源
- 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[63164,63349))
- 结论依据:原文sendReq的Get、异步入池及尾部Put顺序存在检查登记间隙,正文据代码分析重复与丢重试。
- 原始内容:if v := sched.urlMap.Get(reqURL.String()); v != nil { logger.Warnf("Ignore the request! Its URL is repeated. (URL: %s)\n", reqURL) return false } pd, _ := getPrimaryDomain(httpReq.Host)