知识卡片
过滤边界以执行条件为准
sendReq限制HTTP/HTTPS、允许域名、去重和最大深度,避免无效任务占用资源。所示代码用Depth()>maxDepth拒绝,意味着恰好等于上限可接受,后文“达到或超过”与其不符。域名解析错误也不应被无声忽略,硬编码特定域名触发panic只是示例残留,不是通用过滤策略。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
if req.Depth() > sched.maxDepth { logger.Warnf("Ignore the request! Its depth %d is greater than %d. (URL: %s)\n", req.Depth(), sched.maxDepth, reqURL) return false } go func(req *module.Request)
参考来源
- 位置:《Go并发编程实战(第2版)》第06章《网络爬虫框架设计和实现》(来源项目book-sources:extracted/Go并发编程实战(第2版)/_epub-src/OEBPS/text00000_split_010.html;归一字符[63573,63768))
- 结论依据:原文sendReq比较符、忽略getPrimaryDomain错误及特定域名panic分支均可核验,正文按实际执行条件限定。
- 原始内容:if req.Depth() > sched.maxDepth { logger.Warnf("Ignore the request! Its depth %d is greater than %d. (URL: %s)\n", req.Depth(), sched.maxDepth, reqURL) return false } go func(req *module.Request)