知识卡片

普通读书笔记卡 · 5619.f.16.b.2.a.1.e.1

重排队要绕开首次去重

理解等级:高级

downloadOne取不到组件时调用sendReq重新排队,希望避免请求遗失;但URL通常在第一次提交后已进入urlMap,重新走首次请求去重就会被拒绝。重试应有明确任务状态、次数与退避,不能直接重复经过同一“新请求”入口;永久组件不可用时无限重试还会制造错误风暴。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      一旦下载器获取失败或者下载器的类型不正确,downloadOne 方法就会把请求再放回请求缓冲池。这也是为了避免因局部错误而导致的请求遗失。

    参考来源

    - 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[59433,59503)) - 结论依据:原文downloadOne重排队与sendReq的永久URL登记合读,说明作者意图和实际路径冲突。 - 原始内容:一旦下载器获取失败或者下载器的类型不正确,downloadOne 方法就会把请求再放回请求缓冲池。这也是为了避免因局部错误而导致的请求遗失。