知识卡片
重排队要绕开首次去重
downloadOne取不到组件时调用sendReq重新排队,希望避免请求遗失;但URL通常在第一次提交后已进入urlMap,重新走首次请求去重就会被拒绝。重试应有明确任务状态、次数与退避,不能直接重复经过同一“新请求”入口;永久组件不可用时无限重试还会制造错误风暴。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
一旦下载器获取失败或者下载器的类型不正确,downloadOne 方法就会把请求再放回请求缓冲池。这也是为了避免因局部错误而导致的请求遗失。
参考来源
- 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[59433,59503))
- 结论依据:原文downloadOne重排队与sendReq的永久URL登记合读,说明作者意图和实际路径冲突。
- 原始内容:一旦下载器获取失败或者下载器的类型不正确,downloadOne 方法就会把请求再放回请求缓冲池。这也是为了避免因局部错误而导致的请求遗失。