知识卡片

普通读书笔记卡 · 5619.f.16.b.2.a.1.e

去重登记需要原子占位

理解等级:高级

sendReq先Get查URL不存在,异步Put请求后才向urlMap登记。两个调用者可同时通过Get,造成重复提交;入池失败时URL却仍可能已登记,之后重试被过滤。需要原子取得URL处理权,并区分排队、处理中、成功和可重试失败;线程安全map不能把两次方法调用自动合成原子去重。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      if v := sched.urlMap.Get(reqURL.String()); v != nil { logger.Warnf("Ignore the request! Its URL is repeated. (URL: %s)\n", reqURL) return false } pd, _ := getPrimaryDomain(httpReq.Host)

    参考来源

    - 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[63164,63349)) - 结论依据:原文sendReq的Get、异步入池及尾部Put顺序存在检查登记间隙,正文据代码分析重复与丢重试。 - 原始内容:if v := sched.urlMap.Get(reqURL.String()); v != nil { logger.Warnf("Ignore the request! Its URL is repeated. (URL: %s)\n", reqURL) return false } pd, _ := getPrimaryDomain(httpReq.Host)